一、 datastage簡介
websphere datastage 是一套專門對多種運算元據源的資料抽取、轉換和維護過程進行簡化和自動化,並將其輸入資料集市或資料中心(資料倉儲)目標資料庫的整合工具。
datastage能夠處理多種資料來源的資料,包括主機系統上的大型資料庫、開放系統上的關係型資料庫和普通的檔案系統等。
常見的主要資料來源有:
大型主機系統的資料庫:ims、db2、adabas、vsam等。
開發系統的關係型資料庫:informix、oracle、sybase、db2、microsoft sql server等。
erp系統:sap/r3、peoplesoft等。
普通檔案和複雜檔案系統,ftp檔案系統,xml等。
iis、netscape、apache等web伺服器系統。
outlook等email系統。
datastage 可以從多個不同的業務系統中,從多個平台的資料來源中抽取資料,完成轉換和清洗,裝載到各種系統裡面。其中每步都可以在圖形化工具裡完成,同樣可以靈活的被外部系統排程,提供專門的設計工具來設計轉換規則和清洗規則等,實現了增量抽取、任務排程等多種複雜而實用的功能。其中簡單的資料轉換可以通過在介面上拖拉操作和呼叫一些 datastage 預定義轉換函式來實現,複雜轉換可以通過編寫指令碼或結合其他語言的擴充套件來實現,並且 datastage 提供除錯環境,可以極大提高開發和除錯抽取、轉換程式的效率。
二、 datastage工作原理
datastage的設計是基於資料流的概念。乙個完整的資料流圖(datastage作業),從乙個永久儲存的資料來源開始,並且執行一系列的增值轉換和其他處理操作,最後載入資料到乙個永久的儲存。
資料集(data set)就是對通過資料流程的記錄的收集。乙個資料集可以是屋裡放置在磁碟上,也可以是虛擬放置在記憶體中。資料在資料流中的stage中移動使用的是虛擬的資料集,這樣可以大大提高效能;分割槽(在後面介紹)是在stage的屬性中設定的。
三、 datastage執行程式(工具)介紹
1. datastage服務
安裝完成datastage後會在系統中註冊三個datastage服務:
datastage engine resource service
datastage telnet service
dsrpc service
2. datastage administrator程式
datastage administrator程式用於執行管理任務,如建立datastage使用者、建立和刪除工程、建立清洗標準。
host system表示伺服器位址,如果是本地請使用localhost,如果是使用127.0.0.
1則需要在datastage安裝目錄配置對映關係檔案。而使用者名稱和密碼一般與系統使用者和密碼一致。
登入後有三中操作選項,其中general用於版本的控制;projects用於設定工程專案的屬性;licensing。
3. datastage manager程式
datastage manager程式用來編輯和管理使用者工程的datastage的資料庫。包括工程的匯入和匯出等操作。
4. datastage version control程式
datastage version control程式用於版本控制管理。
5. datastage director程式
datastage director是乙個job的管理、除錯、log追蹤的綜合管理工具。用來驗證、時序安排、執行和監測企業版作業。
6. datastage designer程式
datastage designer是整個開發的環境。用來編輯datastage的作業和表的定義。
四、 datastage中的 stage介紹
按照新建的job不同,所內建的stage也不同。內嵌的stage包括高效能訪問(載入和讀)關係型資料庫的強大元件,包括並行的關係型資料庫。
datastage中的job分類:
job sequence:job工作序
mianframe job:主應用job
parallel job:並行執行job
parallel shared container:並行共享容器
server job:標準server job,在windows下可以建立的job
server shared container:server共享容器
(以下三個是新建job時的選項)
new data migration job:
new job from template:
new template from job:
● palltte選項列表
1) general(常規)欄解釋:
2) database(資料庫)欄解釋:
3) file(檔案)欄解釋:
4) processing(處理)欄解釋:
5) real time解釋:
6) development/debug(除錯)解釋:
7) restructure(重建)解釋
8) sequence(序列)欄解釋:
9) 擴充套件鏈結
75校長培訓學習心得體會
春意融融,情意切切,時值一年之際最佳時節,參加完北京校長高階班的研修,又直接奔赴四川省第十二期小學校長提高班的學習,無疑於是一場酣暢淋漓的春雨滋潤,讓我清晰的看到了學校以外的教育精彩 猶如一根神奇的魔棒,幡然悟出教育的諸多真諦!這來自四方八方的教育人士猶如條條溪水的匯聚,融合成一條生生不息的奔河,激...
寒假教師培訓學習總
為了全面提高教師素質,順應新課程改革的要求,在寒假期間我校組織了全體教師進行學習培訓。學習時間雖短,收穫卻很大 我校教師在政治思想和職業道德,教育教學能力與教育教研能力,終身學習能力與教育創新能力等方面的綜合素質有所提高。既使觀念更新了,也將理論有所提高,現對整個學習培訓過程總結如下 一 更新教育觀...
大學學習計畫 總
轉眼間,已步入大學半年了,上學期的我對大學的各種事物感到新奇,沒有全身心的投入到學習中去,現在我已不是新生了,該在浮華的生活中靜下心來,為未來規劃.在學校的目的是學習,不僅要學習知識而且要培養能力.我上學期的成績一般不是很優秀,我總結了幾點原因 一,基礎不好,二,學習不夠努力.所以我要在本學期注重基...