DataStage V7 5學習總結

2021-11-06 13:32:38 字數 2513 閱讀 2504

一、 datastage簡介

websphere datastage 是一套專門對多種運算元據源的資料抽取、轉換和維護過程進行簡化和自動化,並將其輸入資料集市或資料中心(資料倉儲)目標資料庫的整合工具。

datastage能夠處理多種資料來源的資料,包括主機系統上的大型資料庫、開放系統上的關係型資料庫和普通的檔案系統等。

常見的主要資料來源有:

大型主機系統的資料庫:ims、db2、adabas、vsam等。

開發系統的關係型資料庫:informix、oracle、sybase、db2、microsoft sql server等。

erp系統:sap/r3、peoplesoft等。

普通檔案和複雜檔案系統,ftp檔案系統,xml等。

iis、netscape、apache等web伺服器系統。

outlook等email系統。

datastage 可以從多個不同的業務系統中,從多個平台的資料來源中抽取資料,完成轉換和清洗,裝載到各種系統裡面。其中每步都可以在圖形化工具裡完成,同樣可以靈活的被外部系統排程,提供專門的設計工具來設計轉換規則和清洗規則等,實現了增量抽取、任務排程等多種複雜而實用的功能。其中簡單的資料轉換可以通過在介面上拖拉操作和呼叫一些 datastage 預定義轉換函式來實現,複雜轉換可以通過編寫指令碼或結合其他語言的擴充套件來實現,並且 datastage 提供除錯環境,可以極大提高開發和除錯抽取、轉換程式的效率。

二、 datastage工作原理

datastage的設計是基於資料流的概念。乙個完整的資料流圖(datastage作業),從乙個永久儲存的資料來源開始,並且執行一系列的增值轉換和其他處理操作,最後載入資料到乙個永久的儲存。

資料集(data set)就是對通過資料流程的記錄的收集。乙個資料集可以是屋裡放置在磁碟上,也可以是虛擬放置在記憶體中。資料在資料流中的stage中移動使用的是虛擬的資料集,這樣可以大大提高效能;分割槽(在後面介紹)是在stage的屬性中設定的。

三、 datastage執行程式(工具)介紹

1. datastage服務

安裝完成datastage後會在系統中註冊三個datastage服務:

datastage engine resource service

datastage telnet service

dsrpc service

2. datastage administrator程式

datastage administrator程式用於執行管理任務,如建立datastage使用者、建立和刪除工程、建立清洗標準。

host system表示伺服器位址,如果是本地請使用localhost,如果是使用127.0.0.

1則需要在datastage安裝目錄配置對映關係檔案。而使用者名稱和密碼一般與系統使用者和密碼一致。

登入後有三中操作選項,其中general用於版本的控制;projects用於設定工程專案的屬性;licensing。

3. datastage manager程式

datastage manager程式用來編輯和管理使用者工程的datastage的資料庫。包括工程的匯入和匯出等操作。

4. datastage version control程式

datastage version control程式用於版本控制管理。

5. datastage director程式

datastage director是乙個job的管理、除錯、log追蹤的綜合管理工具。用來驗證、時序安排、執行和監測企業版作業。

6. datastage designer程式

datastage designer是整個開發的環境。用來編輯datastage的作業和表的定義。

四、 datastage中的 stage介紹

按照新建的job不同,所內建的stage也不同。內嵌的stage包括高效能訪問(載入和讀)關係型資料庫的強大元件,包括並行的關係型資料庫。

datastage中的job分類:

job sequence:job工作序

mianframe job:主應用job

parallel job:並行執行job

parallel shared container:並行共享容器

server job:標準server job,在windows下可以建立的job

server shared container:server共享容器

(以下三個是新建job時的選項)

new data migration job:

new job from template:

new template from job:

● palltte選項列表

1) general(常規)欄解釋:

2) database(資料庫)欄解釋:

3) file(檔案)欄解釋:

4) processing(處理)欄解釋:

5) real time解釋:

6) development/debug(除錯)解釋:

7) restructure(重建)解釋

8) sequence(序列)欄解釋:

9) 擴充套件鏈結

75校長培訓學習心得體會

春意融融,情意切切,時值一年之際最佳時節,參加完北京校長高階班的研修,又直接奔赴四川省第十二期小學校長提高班的學習,無疑於是一場酣暢淋漓的春雨滋潤,讓我清晰的看到了學校以外的教育精彩 猶如一根神奇的魔棒,幡然悟出教育的諸多真諦!這來自四方八方的教育人士猶如條條溪水的匯聚,融合成一條生生不息的奔河,激...

寒假教師培訓學習總

為了全面提高教師素質,順應新課程改革的要求,在寒假期間我校組織了全體教師進行學習培訓。學習時間雖短,收穫卻很大 我校教師在政治思想和職業道德,教育教學能力與教育教研能力,終身學習能力與教育創新能力等方面的綜合素質有所提高。既使觀念更新了,也將理論有所提高,現對整個學習培訓過程總結如下 一 更新教育觀...

大學學習計畫 總

轉眼間,已步入大學半年了,上學期的我對大學的各種事物感到新奇,沒有全身心的投入到學習中去,現在我已不是新生了,該在浮華的生活中靜下心來,為未來規劃.在學校的目的是學習,不僅要學習知識而且要培養能力.我上學期的成績一般不是很優秀,我總結了幾點原因 一,基礎不好,二,學習不夠努力.所以我要在本學期注重基...