資料庫增量數據捕獲

Ⅰ 求教如何獲取資料庫增量數據

獲取資料庫增量數據的幾種方式：
a.觸發器：在要抽取的表上建立需要的觸發器，一般要建立插入、修改、刪除三個觸發器，每當源表中的數據發生變化，就被相應的觸發器將變化的數據寫入一個臨時表，抽取線程從臨時表中抽取數據，臨時表中抽取過的數據被標記或刪除。觸發器方式的優點是數據抽取的性能較高，缺點是要求業務表建立觸發器，對業務系統有一定的影響。

b.時間戳：它是一種基於快照比較的變化數據捕獲方式，在源表上增加一個時間戳欄位，系統中更新修改表數據的時候，同時修改時間戳欄位的值。當進行數據抽取時，通過比較系統時間與時間戳欄位的值來決定抽取哪些數據。有的資料庫的時間戳支持自動更新，即表的其它欄位的數據發生改變時，自動更新時間戳欄位的值。有的資料庫不支持時間戳的自動更新，這就要求業務系統在更新業務數據時，手工更新時間戳欄位。同觸發器方式一樣，時間戳方式的性能也比較好，數據抽取相對清楚簡單，但對業務系統也有很大的傾入性（加入額外的時間戳欄位），特別是對不支持時間戳的自動更新的資料庫，還要求業務系統進行額外的更新時間戳操作。

c.全表比對：典型的全表比對的方式是採用MD5校驗碼。ETL工具事先為要抽取的表建立一個結構類似的MD5臨時表，該臨時表記錄源表主鍵以及根據所有欄位的數據計算出來的MD5校驗碼。每次進行數據抽取時，對源表和MD5臨時表進行MD5校驗碼的比對，從而決定源表中的數據是新增、修改還是刪除，同時更新MD5校驗碼。

d.日誌對比：通過分析資料庫自身的日誌來判斷變化的數據。

Ⅱ ETL 數據抽取 如何實現增量抽取

ETL中的數據增量抽取機制
(

增量抽取是數據倉庫ETL(extraction，transformation，loading，數據的抽取、轉換和裝載)實施過程中需要重點考慮的問 題。在ETL過程中，增量更新的效率和可行性是決定ETL實施成敗的關鍵問題之一，ETL中的增量更新機制比較復雜，採用何種機制往往取決於源數據系統的 類型以及對增量更新性能的要求。
1 ETL概述
ETL包括數據的抽取、轉換、載入。①數據抽取：從源數據源系統抽取目的數據源系統需要的數據：②數據轉換：將從源數據源獲取的數據按照業務需求，轉換成目的數據源要求的形式，並對錯誤、不一致的數據進行清洗和加工；③數據載入：將轉換後的數據裝載到目的數據源。
ETL作為構建數據倉庫的一個環節，負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數 據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。ETL原來主要用戶構建數據倉庫和商業智能項目，現在也越來越多地應用於一般信息系統數據的遷 移、交換和同步。
在ETL的3個環節中，數據抽取直接面對各種分散、異構的數據源，如何保證穩定高效的從這些數據源中提取正確的數據，是ETL設計和實施過程中需要考慮的關鍵問題之一。
在集成端進行數據的初始化時，一般需要將數據源端的全部數據裝載進來，這時需要進行全量抽取。全量抽取類似於數據遷移或數據復制，它將數據源中的表或視圖 的數據全部從資料庫中抽取出來，再進行後續的轉換和載入操作。全量抽取可以使用數據復制、導入或者備份的方式完成，實現機制比較簡單。全量抽取完成後，後 續的抽取操作只需抽取自上次抽取以來表中新增或修改的數據，這就是增量抽取。
在資料庫倉庫中，無論是全量抽取還是增量抽取，抽取工作一般由數據倉庫工具來完成，如oracle的OWB，Sql Server的Integration Services以及專業的ETL商業產品Informatica PowvrCenter等。如果企業的預算有限，也可以考慮使用開源項目Pentaho。這些工具都有一個特點，就是本身並沒有實現特定的增量抽取機制， 它們完成全量抽取後，用戶可以通過定製計劃任務的方式，實現按一定的周期從源系統中抽取當前周期內產生的增量數據，但至於這些增量數據如何產生，工具並沒 有提供自動生成增量數據的功能。所以，ETL過程中增量數據的產生機制是一個需要用戶重點研究和選擇的問題。
2 增量抽取機制
要實現增量抽取，關鍵是如何准確快速的捕獲變化的數據。優秀的增量抽取機制要求ETL能夠將業務系統中的變化數據按一定的頻率准確地捕獲到，同時不能對業 務系統造成太大的壓力，影響現有業務。相對全量抽取而言，增量抽取的設計更復雜，有一種將全量抽取過程自動轉換為增量抽取過程的ETL設計思路，前提是必 須捕獲變化的數據，增量數據抽取中常用的捕獲變化數據的方法有以下幾種：
2.1 觸發器方式
觸發器方式是普遍採取的一種增量抽取機制。該方式是根據抽取要求，在要被抽取的源表上建立插入、修改、刪除3個觸發器，每當源表中的數據發生變化，就被相 應的觸發器將變化的數據寫入一個增量日誌表，ETL的增量抽取則是從增量日誌表中而不是直接在源表中抽取數據，同時增量日誌表中抽取過的數據要及時被標記 或刪除。
為了簡單起見，增量日誌表一般不存儲增量數據的所有欄位信息，而只是存儲源表名稱、更新的關鍵字值和更新操作類型(insert、update或 delete)，ETL增量抽取進程首先根據源表名稱和更新的關鍵字值，從源表中提取對應的完整記錄，再根據更新操作類型，對目標表進行相應的處理。
例如，對於源表為Oracle類型的資料庫，採用觸發器方式進行增量數據捕獲的過程如下：
(1)創建增量日誌表DML LOG：
create table DML_LOG(
ID NUMBER primary key，--自增主鍵
TABLE_NAME VARCHAR2(200)，--源表名稱
RECORD_ID NUMBER，--源表增量記錄的主鍵值
DML_TYPE CHAR(1)，--增量類型，I表示新增；U表示更新；D表示刪除
EXECUTE DATE DATE --發生時間
);
(2)為DML_LOG創建一個序列SEQ_DML_LOG，以便觸發器寫增量日誌表時生成ID值。
(3)針對要監聽的每一張表，創建一個觸發器，例如對表Test創建觸發器如下：
Create or replace trigger T BEFORE INSERT OR UPDATE OR DELETE ON T for each row
declare I_dml_type varchar2(1);
begin
if INSERTING then l_dml type：＝』I』;
elsif UPDATING then I_dml_type：＝』U』;
elsif DELETING then l_dml_type：＝』D』;
end if;
if DELETING then
insert into DML_LOG(ID,TABLE_NAME,RECORD_ID,EXECUTE_DATE,DML_TYPE)
values(seq_dml_log.nextval,』Test』,:old.ID,sysdate,l_dml_type);
else
insert into DML_LOG(ID,TABLE_NAME,RECORD_ID,EXECUTE_DATE,DML_TYPE)
values(seq_dml_log.nextval,』Test』,:new.ID,sysdate,l_dml_type);
end if;
end;
這樣，對表T的所有DML操作就記錄在增量日誌表DML_LOG中，注意增量日誌表中並沒有完全記錄增量數據本身，只是記錄了增量數據的來源。進行增量ETL時，只需要根據增量日誌表中的記錄情況，反查源表得到真正的增量數據。
2.2 時間戳方式
時間戳方式是指增量抽取時，抽取進程通過比較系統時間與抽取源表的時間戳欄位的值來決定抽取哪些數據。這種方式需要在源表上增加一個時間戳欄位，系統中更新修改表數據的時候，同時修改時間戳欄位的值。
有的資料庫(例如Sql Server)的時間戳支持自動更新，即表的其它欄位的數據發生改變時，時間戳欄位的值會被自動更新為記錄改變的時刻。在這種情況下，進行ETL實施時就 只需要在源表加上時間戳欄位就可以了。對於不支持時間戳自動更新的資料庫，這就要求業務系統在更新業務數據時，通過編程的方式手工更新時間戳欄位。
使用時間戳方式可以正常捕獲源表的插入和更新操作，但對於刪除操作則無能為力，需要結合其它機制才能完成。
2.3 全表刪除插入方式
全表刪除插入方式是指每次抽取前先刪除目標表數據，抽取時全新載入數據。該方式實際上將增量抽取等同於全量抽取。對於數據量不大，全量抽取的時間代價小於執行增量抽取的演算法和條件代價時，可以採用該方式。
2.4 全表比對方式
全表比對即在增量抽取時，ETL進程逐條比較源表和目標表的記錄，將新增和修改的記錄讀取出來。
優化之後的全部比對方式是採用MD5校驗碼，需要事先為要抽取的表建立一個結構類似的MD5臨時表，該臨時表記錄源表的主鍵值以及根據源表所有欄位的數據 計算出來的MD5校驗碼，每次進行數據抽取時，對源表和MD5臨時表進行MD5校驗碼的比對，如有不同，進行update操作：如目標表沒有存在該主鍵 值，表示該記錄還沒有，則進行insert操作。然後，還需要對在源表中已不存在而目標表仍保留的主鍵值，執行delete操作。
2.5 日誌表方式
對於建立了業務系統的生產資料庫，可以在資料庫中創建業務日誌表，當特定需要監控的業務數據發生變化時，由相應的業務系統程序模塊來更新維護日誌表內容。增量抽取時，通過讀日誌表數據決定載入哪些數據及如何載入。日誌表的維護需要由業務系統程序用代碼來完成。
2.6 系統日誌分析方式
該方式通過分析資料庫自身的日誌來判斷變化的數據。關系犁資料庫系統都會將所有的DML操作存儲在日誌文件中，以實現資料庫的備份和還原功能。ETL增量 抽取進程通過對資料庫的日誌進行分析，提取對相關源表在特定時間後發生的DML操作信息，就可以得知自上次抽取時刻以來該表的數據變化情況，從而指導增量 抽取動作。
有些資料庫系統提供了訪問日誌的專用的程序包(例如Oracle的LogMiner)，使資料庫日誌的分析工作得到大大簡化。
2.7 特定資料庫的方式
針對特有資料庫系統的增量抽取方式：
2.7.1 Oracle改變數據捕獲(changed data capture，CDC)方式
OracleCDC特性是在Oraele9i資料庫中引入的。CDC能夠幫助識別從上次抽取之後發生變化的數據。利用CDC，在對源表進行 insert、update或delete等操作的同時就可以提取數據，並且變化的數據被保存在資料庫的變化表中。這樣就可以捕獲發生變化的數據，然後利 用資料庫視圖以一種可控的方式提供給ETL抽取進程，作為增量抽取的依據。
CDC方式對源表數據變化情況的捕獲有兩種方式：同步CDC和非同步CDC。同步CDC使用源資料庫觸發器來捕獲變更的數據。這種方式是實時的，沒有任何延 遲。當DML操作提交後，變更表中就產生了變更數據。非同步CDC使用資料庫重做日誌(redolog)文件，在源資料庫發生變更以後，才進行數據捕獲。
2.7.2 Oracle閃回查詢方式
Oracle9i以上版本的資料庫系統提供了閃回查詢機制，允許用戶查詢過去某個時刻的資料庫狀態。這樣，抽取進程可以將源資料庫的當前狀態和上次抽取時刻的狀態進行對比，快速得出源表數據記錄的變化情況。
3 比較和分析
可見，ETL在進行增量抽取操作時，有以上各種機制可以選擇。現從兼容性、完備性、性能和侵入性4個方面對這些機制的優劣進行比較分析。
兼容性
數據抽取需要面對的源系統，並不一定都是關系型資料庫系統。某個ETL過程需要從若干年前的遺留系統中抽取Excel或者CSV文本數據的情形是經常發牛 的。這時，所有基於關系型資料庫產品的增量機制都無法工作，時間戳方式和全表比對方式可能有一定的利用價值，在最壞的情況下，只有放棄增量抽取的思路，轉 而採用全表刪除插入方式。
完備性
完備性方面，時間戳方式不能捕獲delete操作，需要結合其它方式一起使用。
性能
增量抽取的性能因素表現在兩個方面，一是抽取進程本身的性能，二是對源系統性能的負面影響。觸發器方式、日誌表方式以及系統日誌分析方式由於不需要在抽取 過程中執行比對步驟，所以增量抽取的性能較佳。全表比對方式需要經過復雜的比對過程才能識別出更改的記錄，抽取性能最差。在對源系統的性能影響方面，觸發 器方式由於是直接在源系統業務表上建立觸發器，同時寫臨時表，對於頻繁操作的業務系統可能會有一定的性能損失，尤其是當業務表上執行批量操作時，行級觸發 器將會對性能產生嚴重的影響；同步CDC方式內部採用觸發器的方式實現，也同樣存在性能影響的問題；全表比對方式和日誌表方式對數據源系統資料庫的性能沒 有任何影響，只是它們需要業務系統進行額外的運算和資料庫操作，會有少許的時間損耗；時間戳方式、系統日誌分析方式以及基於系統日誌分析的方式(非同步 CDC和閃回查詢)對資料庫性能的影響也是非常小的。
侵入性
對數據源系統的侵入性是指業務系統是否要為實現增量抽取機製做功能修改和額外操作，在這一點上，時間戳方式值得特別關注。該方式除了要修改數據源系統表結 構外，對於不支持時間戳欄位自動更新的關系型資料庫產品，還必須要修改業務系統的功能，讓它在源表t執行每次操作時都要顯式的更新表的時間戳欄位，這在 ETL實施過程中必須得到數據源系統高度的配合才能達到，並且在多數情況下這種要求在數據源系統看來是比較「過分」的，這也是時間戳方式無法得到廣泛運用 的主要原因。另外，觸發器方式需要在源表上建立觸發器，這種在某些場合中也遭到拒絕。還有一些需要建立臨時表的方式，例如全表比對和日誌表方式。可能因為 開放給ETL進程的資料庫許可權的限制而無法實施。同樣的情況也可能發生在基於系統日誌分析的方式上，因為大多數的資料庫產品只允許特定組的用戶甚至只有 DBA才能執行日誌分析。閃回杏詢在侵入性方面的影響是最小的。
綜述:
通過對各種增量抽取機制的對比分析，我們發現，沒有一種機制具有絕對的優勢，不同機制在各種因素的表現大體上都是相對平衡的。兼容性較差的機制，像CDC 和閃回查詢機制，由於充分利用了數據源系統DBMS的特性，相對來說具有較好的整體優勢；最容易實現以及兼容性最佳的全表刪除插入機制，則是以犧牲抽取性 能為代價的；系統日誌分析方式對源業務系統的功能無需作任何改變，對源系統表也無需建立觸發器，而抽取性能也不錯，但有可能需要源系統開放DBA許可權給 ETL抽取進程，並且自行分析日誌系統難度較高，不同資料庫系統的日誌格式不一致，這就在一定程度上限制了它的使用范圍。所以，ETL實施過程中究競選擇 哪種增量抽取機制，要根據實際的數據源系統環境進行決策，需要綜合考慮源系統資料庫的類型、抽取的數據量(決定對性能要求的苛刻程度)、對源業務系統和數 據庫的控制能力以及實現難度等各種因素，甚至結合各種不同的增量機制以針對環境不同的數據源系統進行ETL實施。
4 結束語
為了實現數據倉庫數據的高效更新，增量抽取是ETL數據抽取過程中非常重要的一環，其實現機制直接決定了ETL的整體實施效果。我們通過對幾種常見的增量 抽取機制進行了對比，總結了各種機制的特性並分析了它們的優劣。各種增量抽取機制都有它有存在的價值和固有的限制條件，在ETL的設計和實施工作過程中， 只能依據項目的實際環境進行綜合考慮，甚至需要對可採用的多種機制進行實際的測試，才能確定一個最優的增量抽取方法。

Ⅲ cdc倉庫是什麼意思

cdc倉庫：中央配送中心倉庫。

CDC是指從源資料庫捕獲到數據和數據結構(也稱為模式)的增量變更，近乎實時地將這些變更，傳播到其他資料庫或應用程序之處。

通過這種方式，CDC能夠向數據倉庫提供高效、低延遲的數據傳輸，以便信息被及時轉換並交付給專供分析的應用程序。

在數據不斷變化，且無法中斷與在線資料庫連接的情況下，對於各種時間敏感(time-sensitive)類信息的復制，往往也是雲端遷移的重要組成部分。與批量復制相比，變更數據的捕獲通常具有如下三項基本優勢：

CDC通過僅發送增量的變更，來降低通過網路傳輸數據的成本。CDC可以幫助用戶根據最新的數據做出更快、更准確的決策。例如，CDC會將事務直接傳輸到專供分析的應用上。CDC最大限度地減少了對於生產環境網路流量的干擾。

倉庫由貯存物品的庫房、運輸傳送設施（如吊車、電梯、滑梯等）、出入庫房的輸送管道和設備以及消防設施、管理用房等組成。是保管、儲存物品的建築物和場所的總稱。

倉庫按所貯存物品的形態可分為貯存固體物品的、液體物品的、氣體物品的和粉狀物品的倉庫；按貯存物品的性質可分為貯存原材料的、半成品的和成品的倉庫；按建築形式可分為單層倉庫、多層倉庫、圓筒形倉庫。

批發倉庫主要是用於儲存從采購供應庫場調進或在當地收購的商品，這一類倉庫一般貼近商品銷售市場，規模同采購供應倉庫相比一般要小一些，它既從事批發供貨，也從事拆零供貨業務。

采購供應倉庫主要用於集中儲存從生產部門收購的和供國際間進出口的商品，一般這一類的倉庫庫場設在商品生產比較集中的大、中城市，或商品運輸樞紐的所在地。

Ⅳ windows伺服器增量備份怎樣做

Windows 2000系統中的5個備份類型：普通 副本 差異 增量和每日
普通 就是 備份所有你指回定備份的文件，也就是完全答備份
副本 就是 跟完全備份相似，但不會覆蓋你上次備份的文件
差異 就是 也是完全備份，並且不覆蓋上次備份的文件，跟副本類似，只是在還原的時候不同
增量 就是 只備份與上次備份時不同的文件
每日 就是 每天備份一次

Ⅳ 數據抽取的數據源採用關系資料庫

實際應用中，數據源較多採用的是關系資料庫。從資料庫中抽取數據一般有以下幾種方式。 增量抽取指抽取自上次抽取以來資料庫中要抽取的表中新增、修改、刪除的數據。在ETL使用過程中。增量抽取較全量抽取應用更廣。如何捕獲變化的數據是增量抽取的關鍵。對捕獲方法一般有兩點要求：准確性，能夠將業務系統中的變化數據准確地捕獲到;性能，盡量減少對業務系統造成太大的壓力，影響現有業務。目前增量數據抽取中常用的捕獲變化數據的方法有：
a.觸發器：在要抽取的表上建立需要的觸發器，一般要建立插入、修改、刪除三個觸發器，每當源表中的數據發生變化，就被相應的觸發器將變化的數據寫入一個臨時表，抽取線程從臨時表中抽取數據。觸發器方式的優點是數據抽取的性能較高，缺點是要求在業務資料庫中建立觸發器，對業務系統有一定的性能影響。
b.時間戳：它是一種基於遞增數據比較的增量數據捕獲方式，在源表上增加一個時間戳欄位，系統中更新修改表數據的時候，同時修改時間戳欄位的值。當進行數據抽取時，通過比較系統時間與時間戳欄位的值來決定抽取哪些數據。有的資料庫的時間戳支持自動更新，即表的其它欄位的數據發生改變時，自動更新時間戳欄位的值。有的資料庫不支持時間戳的自動更新，這就要求業務系統在更新業務數據時，手工更新時間戳欄位。同觸發器方式一樣，時間戳方式的性能也比較好，數據抽取相對清楚簡單，但對業務系統也有很大的傾入性(加入額外的時間戳欄位)，特別是對不支持時間戳的自動更新的資料庫，還要求業務系統進行額外的更新時間戳操作。另外，無法捕獲對時間戳以前數據的delete和update操作,在數據准確性上受到了一定的限制。
c.全表比對：典型的全表比對的方式是採用MD5校驗碼。ETL工具事先為要抽取的表建立一個結構類似的MD5臨時表，該臨時表記錄源表主鍵以及根據所有欄位的數據計算出來的MD5校驗碼。每次進行數據抽取時，對源表和MD5臨時表進行MD5校驗碼的比對，從而決定源表中的數據是新增、修改還是刪除，同時更新MD5校驗碼。MD5方式的優點是對源系統的傾入性較小(僅需要建立一個MD5臨時表)，但缺點也是顯而易見的，與觸發器和時間戳方式中的主動通知不同，MD5方式是被動的進行全表數據的比對，性能較差。當表中沒有主鍵或唯一列且含有重復記錄時，MD5方式的准確性較差。
d.日誌對比：通過分析資料庫自身的日誌來判斷變化的數據。Oracle的改變數據捕獲(CDC，Changed Data Capture)技術是這方面的代表。CDC 特性是在Oracle9i資料庫中引入的。CDC能夠幫助你識別從上次抽取之後發生變化的數據。利用CDC，在對源表進行insert、update或 delete等操作的同時就可以提取數據，並且變化的數據被保存在資料庫的變化表中。這樣就可以捕獲發生變化的數據，然後利用資料庫視圖以一種可控的方式提供給目標系統。CDC體系結構基於發布者/訂閱者模型。發布者捕捉變化數據並提供給訂閱者。訂閱者使用從發布者那裡獲得的變化數據。通常，CDC系統擁有一個發布者和多個訂閱者。發布者首先需要識別捕獲變化數據所需的源表。然後，它捕捉變化的數據並將其保存在特別創建的變化表中。它還使訂閱者能夠控制對變化數據的訪問。訂閱者需要清楚自己感興趣的是哪些變化數據。一個訂閱者可能不會對發布者發布的所有數據都感興趣。訂閱者需要創建一個訂閱者視圖來訪問經發布者授權可以訪問的變化數據。CDC分為同步模式和非同步模式，同步模式實時的捕獲變化數據並存儲到變化表中，發布者與訂閱都位於同一資料庫中。非同步模式則是基於Oracle的流復制技術。

Ⅵ odi實時數據同步可以採用哪些改造路線

ODI和OWB

ODI和OWB是互為補充的，ODI有四個地方是對OWB的很好的補充：

1. 對於需要異構數據支持：當數據源或者目的不是Oracle資料庫，ODI能夠生成針對那個數據源的native的SQL操縱語句。

2. 2. 對於需要實時數據集成的環境：ODI能夠檢測事件，一個事件可以觸發ODI的一個介面流程。從而完成近實時的數據集成。下圖是ODI提供的一些檢測事件的工具，可以用在package里（ODI workflow的代名詞）如OdiFileWait是等待文件到達，OdiSleep類似於許多系統里的Sleep等待輪詢，OdiWaitForLogData則可以用於捕獲增量數據的捕獲的事件。這里的組件都是實現實時數據集成的關鍵部分。

3. 3. 在數據抽取集成過程中需要和SOA集成，ODI本身提供了call web service的機制，並且ODI的介面也可以暴露為webService，從而可以和SOA環境進行交互。

4. 4. 一致的CDC(Change Data Capture)支持，不同的數據源（Oracle，DB2等）對於變化數據獲取都提供了不一樣的技術框架，ODI把這些不同的技術框架屏蔽了，以一個統一的介面方式提供統一的CDC的設置框架，並提供訂閱者的功能。

而OWB相比於ODI也有自己的很多特點：

1. 豐富的Oracle數據運算符，能夠提供Oracle資料庫之間的高速轉換抽取。

2. 2. 從11g開始，OWB會作為Oracle的標准選件來提供，OWB本身會通過Oracle資料庫的安裝盤來安裝，和所有的其他Oracle選項一樣，都會和資料庫核心緊密集成。

3. 3. 數據質量管理：OWB的data profiling是一個相當強的數據質量管理工具，原理和流程是 數據采樣-》分析採用數據的錯誤和規則-》生成糾正采樣數據的mapping流程-》驗證流程-》把流程應用到所有的數據上的循環。

小結

OWB本身除了運行需要較多的資源之外，本身是一個設計得相當好的工具（身邊一些用過的人都評價還是很不錯呀！），對於Oracle數據之間的抽取轉換的功能完全不是任何別的工具可以比的，當然OWB的主要不足都體現在ODI里了，所以，OWB和ODI是完全互相補充的工具，如果是要同時在建設一個數據中心的項目里使用這兩個工具的話，可以使用ODI來完成從異構數據源到staging Oracle數據的生成，或者用ODI完成需要實時數據同步的工作，而OWB可以用於從staging Oracle數據到Oracle數據倉庫的Oracle數據源之間的工作，這樣應該是最完美的設計。當然單獨用OWB或ODI其實都可以完成這些工作，只不過這兩個工具合並起來用，應該是一個大型數據倉庫項目的非常好的方式。

Ⅶ 什麼是CDM

CDM（Cash Deposit Machine）的縮寫，意思是現金存款機。可辦理查詢余額和存款等業務。

1、客戶可持卡到自動存取款機上，按機器界面提示進行相關業務操作。
2、退卡後30秒內不取卡的話會被吞卡；退卡後，若還要辦理自助業務，應先把卡取出，再按正常步驟進行操作，若直接把卡推入，則會被吞卡。
3、在自動存取款機上輸入的密碼為取款密碼，並且要求輸入的密碼為6位數，若密碼不足6位的，在後面加0補足6位。建議客戶將取款密碼設成6位，若取款密碼不足6位，可能在異地自動取款機上不能取款。
4、在網點自動存取款機上被吞卡的，請與網點人員聯系。在非網點自動存取款機上被吞卡的，可撥銀行服務電話與座席人員聯系。
5、在自動存取款機上進行業務交易發生異常時，如卡上錢已扣但未吐鈔、被吞卡但沒有列印客戶通知單等，請馬上與網點或發卡行客戶服務中心聯系。與網點聯系可以使用在ATM或自助取款機旁邊的緊急聯絡器。也可撥打發卡行的客服電話尋求幫助。

Ⅷ 獲取數據源變化的主要方式有哪些

源數據變化捕獲是數據集成的起點，獲取數據源變化主要有三種方式：

• 基於日誌的解析模式；

• 基於增量條件查詢模式；

• 數據源主動Push模式。

基於日誌的解析模式常用於各種類型的資料庫，例如MySQL的Binlog、Oracle的Redo&Achieve Log、SQL Server Change Tracking & CDC等。

不同資料庫日誌解析的原理差別很大，以MySQL Binlog模式為例，解析程序本身是一個Slave，能夠實時收到MySQL Master的數據流推送，並解析還原成DDL和DML操作。而SQL Server的CT模式下，增量是通過定期查詢Change Tracking表實現的。

基於增量條件的查詢模式不依賴於源端開啟日誌記錄，但對於數據源通常有額外的格式要求。例如，資料庫表或文檔對象需要有標志更新時間的欄位，這在一些業務系統中是無法滿足的。

數據源主動Push模式的常見形式為業務插碼，即應用系統通過打點或者配置切面的方式，將數據變化封裝為事件，額外發送一份給數據集成平台。這種方式一般需要對源端系統代碼進行一定程度的修改。

回答者：DataPipeline CTO