etl與大資料庫

⑴ ETL工程師是做什麼的

ETL工程師又叫資料庫工程師。

ETL工程師的主要工作內容有：從事系統編程、資料庫編程與設計。ETL是數據倉庫中的非常重要的一環。它是承前啟後的必要的一步。相對於關系資料庫，數據倉庫技術沒有嚴格的數學理論基礎，它更面向實際工程應用。

所以從工程應用的角度來考慮，按著物理數據模型的要求載入數據並對數據進行一些系列處理，處理過程與經驗直接相關，同時這部分的工作直接關系數據倉庫中數據的質量，從而影響到聯機分析處理和數據挖掘的結果的質量。

職業前景

從業務角度講，隨著數據應用的日益豐富，不同平台、系統的相互大批量數據交互成常態，僅僅滿足於採集數據已經不適應業務需要，還需要能夠為數據的目的端落地提供支撐，ETL工程師需要一個端到端的更適應業務需要的數據交換系統。

從技術角度講，ETL做一定的擴展可以升級為兼具交換能力，兩者有傳承，可以實現平滑過渡，但交換卻要考慮用另一個工具實現，同時未來大數據平台組件將異常豐富，相互之間的數據交換將是常態，必要要有更高級別的交換工具滿足這些需求。

⑵ 大數據工程師是做什麼的 需要掌握哪些技能

大數據工程師需要負責創建和祥和維護數據分析基礎架構，包括大數據架構的開發、構建、維護和測試等，還負責創建用於建模，挖掘，獲取和驗證數據集合等流程。

大數據工程師做哪些工作

大數據工程師可以做大數據開發工作，開發，建設，測試和維護架構，負責公司大數據平台的開發和維護，負責大數據平台持續集成相關工具平台的架構設計與產品開發等。

大數據工程師可以做數據分析工作，收集，處理和執行統計數據分析，運用工具，提取、分析、呈現數據，實現數據的商業意義，需要業務理解和工具應用能力。

大數據工程師可以做數據挖掘工作，數據建模、機器學習和演算法實現喚絕搏，商業智能，用戶體驗分析，預測流失用戶等，需要過硬的數學和統計學功底以外，對演算法的代碼實現也有很高的要求。

大數據工程師可以做資料庫開發及管理工作，設計，開發和實施基於客戶需求的資料庫系統，通過理想介面連接資料庫和資料庫工具，優化資料庫系統的性能效率等。

大數據工程師需要學什麼

1、計算機編碼能力：實際開發能力和大規模的數據處理能力是作為大數據工程師必須要掌握的能力，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的信息中提取有用數據呢，這就需要大數據工程師來做。

2、.大數據架構工具與組件：企業大數據框架的搭建，多是選擇基於開源技術框架來實現的，這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架，及其生態圈組件。

3、數據倉庫和ETL工具：數據倉庫和ETL能力對於大數據工程師至關重要。像Redshift或Panoply這樣的數據倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。

4、編程語言：編碼與開發能力是宏罩大數據工程師的必備技能，要熟悉Python，C/C++，Java，Perl，Golang或其它語言。

⑶ 數據ETL是指什麼

對於做過 BI 開發的朋友，ETL 並不陌生，只要涉及到數據源的數據抽取、數據的計算和處理過程的開發，都是 ETL，ETL 就這三個階段，Extraction 抽取，Transformation 轉換，Loading 載入。

從不同數據源抽取數據 EXTRACTION ，按照一定的數據處理規則對數據進行加工和格式轉換 TRASFORMATION，最後處理完成的輸出到目標數據表中也有可能是文件等等，這個就是 LOADING。

再通俗一點講，ETL 的過程就跟大家日常做菜一樣，需要到菜市場的各個攤位買好菜，把菜買回來要摘一下，洗一洗，切一切最後下鍋把菜炒好端到飯桌上。菜市場的各個攤位就是數據源，做好的菜就是最終的輸出結果，中間的所有過程像摘菜、洗菜、切菜、做菜就是轉換。

在開發的時候，大部分時候會通過 ETL 工具去實現，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟 SQL SERVER 裡面的 SSIS 等等，在結合基本的 SQL 來實現整個 ETL 過程。

也有的是自己通過程序開發，然後控制一些數據處理腳本跑批，基本上就是程序加 SQL 實現。

哪種方式更好，也是需要看使用場景和開發人員對那種方式使用的更加得心應手。我看大部分軟體程序開發人員出身的，碰到數據類項目會比較喜歡用程序控制跑批，這是程序思維的自然延續。純 BI 開發人員大部分自然就選擇成熟的 ETL 工具來開發，當然也有一上來就寫程序腳本的，這類 BI 開發人員的師傅基本上是程序人員轉過來的。

用程序的好處就是適配性強，可擴展性強，可以集成或拆解到到任何的程序處理過程中，有的時候使用程序開發效率更高。難就難在對維護人員有一定的技術要求，經驗轉移和可復制性不夠。

用 ETL 工具的好處，第一是整個 ETL 的開發過程可視化了，特別是在數據處理流程的分層設計中可以很清晰的管理。第二是鏈接到不同數據源的時候，各種數據源、資料庫的鏈接協議已經內置了，直接配置就可以，不需要再去寫程序去實現。第三是各種轉換控制項基本上拖拉拽就可以使用，起到簡化的代替一部分 SQL 的開發，不需要寫代碼去實現。第四是可以非常靈活的設計各種 ETL 調度規則，高度配置化，這個也不需要寫代碼實現。

所以在大多數通用的項目中，在項目上使用 ETL 標准組件開發會比較多一些。

ETL 從邏輯上一般可以分為兩層，控制流和數據流，這也是很多 ETL 工具設計的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一個數據流與數據流處理的先後流程，一個控制流可以包含多個數據流。比如在數據倉庫開發過程中，第一層的處理是ODS層或者Staging 層的開發，第二層是 DIMENSION維度層的開發，後面幾層就是DW 事實層、DM數據集市層的開發。通過ETL的調度管理就可以讓這幾層串聯起來形成一個完整的數據處理流程。

數據流就是具體的從源數據到目標數據表的數據轉換過程，所以也有 ETL 工具把數據流叫做轉換。在廳嫌蠢數據流的開發設計過程中主要就是三個環節，目標數據表的鏈接，這兩個直接通過 ETL 控制項配置就可以了。中間轉換的環節，這個時候就可能有很多的選擇了，調 SQL 語句、存儲過程，或者還是使用 ETL 控制項來實現。

有的項目上習慣者殲使用 ETL 控制項來實現數據流中的轉換，也有的項目要求不使用標準的轉換組件使用存儲過程來調用。也有的是因為數扮陪據倉庫本身這個資料庫不支持存儲過程就只能通過標準的SQL來實現。

我們通常講的BI數據架構師其實指的就是ETL的架構設計，這是整個BI項目中非常核心的一層技術實現，數據處理、數據清洗和建模都是在ETL中去實現。一個好的ETL架構設計可以同時支撐上百個包就是控制流，每一個控制流下可能又有上百個數據流的處理過程。之前寫過一篇技術文章，大家可以搜索下關鍵字 BIWORK ETL 應該在網上還能找到到這篇文章。這種框架設計不僅僅是ETL框架架構上的設計，還有很深的ETL項目管理和規范性控制器思想，包括後期的運維，基於BI的BI分析，ETL的性能調優都會在這些框架中得到體現。因為大的BI項目可能同時需要幾十人來開發ETL，框架的頂層設計就很重要。

⑷ 萬字詳解ETL和數倉建模

ETL是數據抽取（Extract）、轉換（Transform）、載入（Load ）的簡寫，它是將OLTP系統中的數據經過抽取，並將不同數據源的數據進行轉換、整合，得出一致性的數據，然後載入到數據倉庫中。簡而言之ETL是完成從 OLTP系統到OLAP系統的過程

數據倉庫（Data Warehouse DW）是基於OLTP系統的數據源，為了便於多維分析和 多角度展現將其數據按特定的模式進行存儲而建立的關系型資料庫，它不同於多維資料庫，數據倉庫中的數據是細節的，集成的，數據倉庫是面向主題的，是以 OLAP系統為分析目的。它包括星型架構與雪花型架構，其中星型架構中間為事實表，四周為維度表， 類似星星；雪花型架構中間為事實表，兩邊的維度表可以再有其關聯子表，而在星型中只允許一張表作為維度表與事實表關聯，雪花型一維度可以有多張表，而星型 不可以。考慮到效率時，星型聚合快，效率高，不過雪花型結構明確，便於與OLTP系統交互。在實際項目中，我們將綜合運用星型架構與雪花型架構。

即 確定數據分析或前端展現的某一方面的分析主題，例如我們分析某年某月某一地區的啤酒銷售情況，就是一個主題。主題要體現某一方面的各分析角度（維度）和統 計數值型數據（量度），確定主題時要綜合考慮，一個主題在數據倉庫中即為一個數據集市，數據集市體現了某一方面的信息，多個數據集市構成了數據倉庫。

在 確定了主題以後，我們將考慮要分析的技術指標，諸如年銷售額此類，一般為數值型數據，或者將該數據匯總，或者將該數據取次數，獨立次數或取最大最小值 等，這樣的數據稱之為量度。量度是要統計的指標，必須事先選擇恰當，基於不同的量度可以進行復雜關鍵性能指標（KPI）等的計算。

在 確定了量度之後我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況，考慮到量度的聚合程度不同，我們將採用「最小粒度原則」，即將量度的粒度設置 到最小，例如我們將按照時間對銷售額進行匯總，目前的數據最小記錄到天，即資料庫中記錄了每天的交易額，那麼我們不能在ETL時將數據進行按月或年匯總， 需要保持到天，以便於後續對天進行分析。而且我們不必擔心數據量和數據沒有提前匯總帶來的問題，因為在後續的建立CUBE時已經將數據提前匯總了。

維 度是要分析的各個角度，例如我們希望按照時間，或者按照地區，或者按照產品進行分析，那麼這里的時間、地區、產品就是相應的維度，基於不同的維度我們可 以看到各量度的匯總情況，我們可以基於所有的維度進行交叉分析。這里我們首先要確定維度的層次（Hierarchy）和級別（Level）（圖 四：pic4.jpg），維度的層次是指該維度的所有級別，包括各級別的屬性；維度的級別是指該維度下的成員，例如當建立地區維度時我們將地區維度作為一 個級別，層次為省、市、縣三層，考慮到維度表要包含盡量多的信息，所以建立維度時要符合「矮胖原則」，即維度表要盡量寬，盡量包含所有的描述性信息，而不 是統計性的數據信息。

還有一種常見的情況，就是父子型維度，該維度一般用於非葉子節點含有成員等情況，例如公司員工 的維度，在統計員工的工資時，部 門主管的工資不能等於下屬成員工資的簡單相加，必須對該主管的工資單獨統計，然後該主管部門的工資等於下屬員工工資加部門主管的工資，那麼在建立員工維度 時，我們需要將員工維度建立成父子型維度，這樣在統計時，主管的工資會自動加上，避免了都是葉子節點才有數據的情況。

另外，在建立維度表時要充 分使用代理鍵，代理鍵是數值型的ID號碼，好處是代理鍵唯一標識了每一維度成員信息，便於區分，更重要的是在聚合時由於數值型匹 配，JOIN效率高，便於聚合，而且代理鍵對緩慢變化維度有更重要的意義，它起到了標識 歷史 數據與新數據的作用，在原數據主鍵相同的情況下，代理鍵起到了 對新數據與 歷史 數據非常重要的標識作用。

有時我們也會遇到維度緩慢變化的情況，比如增加了新的產品，或者產品的ID號碼修改了，或者產品增加了一個新的屬性，此時某一維度的成員會隨著新的數據的加入而增加新的維度成員，這樣我們要考慮到緩慢變化維度的處理，對於緩慢變化維度，有三種情況：

在確定好事實數據和維度後，我們將考慮載入事實表。

在公司的大量數據堆積如山時，我們想看看裡面究竟是什麼，結果發現裡面是一筆筆生產記錄，一筆筆交易記錄… 那麼這些記錄是我們將要建立的事實表的原始數據，即關於某一主題的事實記錄表。

我 們的做法是將原始表與維度表進行關聯，生成事實表（圖六：pic6.jpg）。注意在關聯時有為空的數據時（數據源臟），需要使用外連接，連接後我們將 各維度的代理鍵取出放於事實表中，事實表除了各維度代理鍵外，還有各量度數據，這將來自原始表，事實表中將存在維度代理鍵和各量度，而不應該存在描述性信 息，即符合「瘦高原則」，即要求事實表數據條數盡量多（粒度最小），而描述性信息盡量少。

如果考慮到擴展，可以將事實表加一唯一標識列，以為了以後擴展將該事實作為雪花型維度，不過不需要時一般建議不用這樣做。

事 實數據表是數據倉庫的核心，需要精心維護，在JOIN後將得到事實數據表，一般記錄條數都比較大，我們需要為其設置復合主鍵和索引，以為了數據的完整性和 基於數據倉庫的查詢性能優化，事實數據表與維度表一起放於數據倉庫中，如果前端需要連接數據倉庫進行查詢，我們還需要建立一些相關的中間匯總表或物化視圖，以方便查詢。

在構建數據倉庫時，如果數據源位於一伺服器上，數據倉庫在另一 伺服器端，考慮到數據源Server端訪問頻繁，並且數據量大，需要不斷更新，所以可以建立准備區資料庫（圖七：pic7.jpg）。先將數據抽取到准備 區中，然後基於准備區中的數據進行處理，這樣處理的好處是防止了在原OLTP系統中中頻繁訪問，進行數據運算或排序等操作。例如我們可以按照天將數據抽取 到准備區中，基於數據准備區，我們將進行數據的轉換，整合，將不同數據源的數據進行一致性處理。數據准備區中將存在原始抽取表，一些轉換中間表和臨時表以 及ETL日誌表等。

時間維度對於某一事實主題來說十分重要，因為不同的時間有不同的統計數據信息，那麼按照時間記錄 的信息將發揮很重要的作用。在ETL中，時間戳有其特殊的 作用，在上面提到的緩慢變化維度中，我們可以使用時間戳標識維度成員；在記錄資料庫和數據倉庫的操作時，我們也將使用時間戳標識信息，例如在進行數據抽取 時，我們將按照時間戳對OLTP系統中的數據進行抽取，比如在午夜0：00取前一天的數據，我們將按照OLTP系統中的時間戳取GETDATE到 GETDATE減一天，這樣得到前一天數據。

在對數據進行處理時，難免會發生數據處理錯誤，產生出錯信息，那麼我們 如何獲得出錯信息並及時修正呢? 方法是我們使用一張或多張Log日誌表，將出錯信息記錄下來，在日誌表中我們將記錄每次抽取的條數，處理成功的條數，處理失敗的條數，處理失敗的數據，處 理時間等等，這樣當數據發生錯誤時，我們很容易發現問題所在，然後對出錯的數據進行修正或重新處理。

在對數據倉庫進行 增量更新時必須使用調度（圖八：pic8.jpg），即對事實數據表進行增量更新處理，在使用調度前要考慮到事實數據量，需要多長時間更 新一次，比如希望按天進行查看，那麼我們最好按天進行抽取，如果數據量不大，可以按照月或半年對數據進行更新，如果有緩慢變化維度情況，調度時需要考慮到 維度表更新情況，在更新事實數據表之前要先更新維度表。

調度是數據倉庫的關鍵環節，要考慮縝密，在ETL的流程搭建好後，要定期對其運行，所以 調度是執行ETL流程的關鍵步驟，每一次調度除了寫入Log日誌表 的數據處理信息外，還要使用發送Email或報警信息等，這樣也方便的技術人員對ETL流程的把握，增強了安全性和數據處理的准確性。

ETL構建數據倉庫需要簡單的五步，掌握了這五步的方法我們將構建一個強大的數據倉庫，不過每一步都有很深的需要研究與挖掘，尤其在實際項目中，我們要綜合考慮，例如如果數據源的臟數據很多，在搭建數據倉庫之前我們首先要進行數據清洗，以剔除掉不需要的信息和臟數據。

總之，ETL是數據倉庫的核心，掌握了ETL構建數據倉庫的五步法，就掌握了搭建數據倉庫的根本方法。不過，我們不能教條，基於不同的項目，我們還將要進行 具體分析，如父子型維度和緩慢變化維度的運用等。在數據倉庫構建中，ETL關繫到整個項目的數據質量，所以馬虎不得，必須將其擺到重要位置，將ETL這一 大廈根基築牢。

如果ETL和SQL來說，肯定是SQL效率高的多。但是雙方各有優勢，先說ETL，ETL主要面向的是建立數據倉庫來使用的。ETL更偏向數據清洗，多數據源數據整合，獲取增量，轉換載入到數據倉庫所使用的工具。比如我有兩個數據源，一個是資料庫的表，另外一個是excel數據，而我需要合並這兩個數據，通常這種東西在SQL語句中比較難實現。但是ETL卻有很多現成的組件和驅動，幾個組件就搞定了。還有比如跨伺服器，並且伺服器之間不能建立連接的數據源，比如我們公司系統分為一期和二期，存放的資料庫是不同的，數據結構也不相同，資料庫之間也不能建立連接，這種情況下，ETL就顯得尤為重要和突出。通過固定的抽取，轉換，載入到數據倉庫中，即可很容易實現。

那麼SQL呢？SQL事實上只是固定的腳本語言，但是執行效率高，速度快。不過靈活性不高，很難跨伺服器整合數據。所以SQL更適合在固定資料庫中執行大范圍的查詢和數據更改，由於腳本語言可以隨便編寫，所以在固定資料庫中能夠實現的功能就相當強大，不像ETL中功能只能受組件限制，組件有什麼功能，才能實現什麼功能。

所以具體我們在什麼時候使用ETL和SQL就很明顯了，當我們需要多數據源整合建立數據倉庫，並進行數據分析的時候，我們使用ETL。如果是固定單一資料庫的數據層次處理，我們就使用SQL。當然，ETL也是離不開SQL的。

主要有三大主流工具，分別是Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation.還有其他開源工具，如PDI(Kettle)等。

DW系統以事實發生數據為基礎，自產數據較少。

一個企業往往包含多個業務系統，均可能成為DW數據源。

業務系統數據質量良莠不齊，必須學會去偽存真。

業務系統數據紛繁復雜，要整合進數據模型。

源數據之間關系也紛繁復雜，源數據在加工進DW系統時，有些必須遵照一定的先後次序關系;

流水事件表：此類源表用於記錄交易等動作的發生，在源系統中會新增、大部分不會修改和刪除，少量表存在刪除情況。如定期存款登記簿;

常規狀態表：此類源表用於記錄數據信息的狀態。在源系統中會新增、修改，也存在刪除的情況。如客戶信息表;

代碼參數表：此類源表用於記錄源系統中使用到的數據代碼和參數;

數據文件大多數以1天為固定的周期從源系統載入到數據倉庫。數據文件包含增量，全量以及待刪除的增量。

增量數據文件：數據文件的內容為數據表的增量信息，包含表內新增及修改的記錄。

全量數據文件：數據文件的內容為數據表的全量信息，包含表內的所有數據。

帶刪除的增量：數據文件的內容為數據表的增量信息，包含表內新增、修改及刪除的記錄，通常刪除的記錄以欄位DEL_IND='D'標識該記錄。

可劃分為： 歷史 拉鏈演算法、追加演算法(事件表)、Upsert演算法(主表)及全刪全加演算法(參數表);

歷史 拉鏈：根據業務分析要求，對數據變化都要記錄，需要基於日期的連續 歷史 軌跡;

追加(事件表)：根據業務分析要求，對數據變化都要記錄，不需要基於日期的連續 歷史 軌跡;

Upsert(主表)：根據業務分析要求，對數據變化不需要都要記錄，當前數據對 歷史 數據有影響;

全刪全加演算法(參數表)：根據業務分析要求，對數據變化不需要都要記錄，當前數據對 歷史 數據無影響;

所謂拉鏈，就是記錄 歷史 ，記錄一個事務從開始，一直到當前狀態的所有變化信息(參數新增開始結束日期);

一般用於事件表，事件之間相對獨立，不存在對 歷史 信息進行更新;

是update和insert組合體，一般用於對 歷史 信息變化不需要進行跟蹤保留、只需其最新狀態且數據量有一定規模的表，如客戶資料表;

一般用於數據量不大的參數表，把 歷史 數據全部刪除，然後重新全量載入;

歷史 拉鏈，Upsert,Append,全刪全加;載入性能：全刪全加，Append，Upsert， 歷史 拉鏈;

APPEND演算法，常規拉鏈演算法，全量帶刪除拉鏈演算法;

APPEND演算法，MERGE演算法，常規拉鏈演算法，基於增量數據的刪除拉鏈演算法，基於全量數據的刪除拉鏈演算法，經濟型常規拉鏈演算法，經濟型基於增量數據的刪除拉鏈演算法，經濟型基於全量數據的刪除拉鏈演算法，PK_NOT_IN_APPEND演算法，源日期欄位自拉鏈演算法;

此演算法通常用於流水事件表，適合這類演算法的源表在源系統中不會更新和刪除，而只會發生一筆添加一筆，所以只需每天將交易日期為當日最新數據取過來直接附加到目標表即可，此類表在近源模型層的欄位與技術緩沖層、源系統表基本上完全一致，不會額外增加物理化處理欄位，使用時也與源系統表的查詢方式相同;

此演算法通常用於無刪除操作的常規狀態表，適合這類演算法的源表在源系統中會新增、修改，但不刪除，所以需每天獲取當日末最新數據(增量或全增量均可)，先找出真正的增量數據(新增和修改)，用它們將目標表中屬性發生修改的開鏈數據(有效數據)進行關鏈操作(即END_DT關閉到當前業務日期)，然後再將最新的增量數據作為開鏈數據插入到目標表即可。

此類表再近源模型層比技術緩沖層、源系統的相應表額外增加兩個物理化處理欄位START_DT(開始日期)和END_DT(結束日期)，使用時需要先選定視覺日期，通過START_DT和END_DT去卡視覺日期，即START_DT'視覺日期';

此演算法通常用於有刪除操作的常規狀態類表，並且要求全量的數據文件，用以對比出刪除增量;適合這類演算法的源表在源系統中會新增，修改，刪除，每天將當日末最新全量數據取過來外，分別找出真正的增量數據(新增，修改)和刪除增量數據，用它們將目標表中屬性發生修改的開鏈數據(有效數據)進行關鏈操作(即END_DT關閉到當前業務日期)，然後再將最新增量數據中真正的增量及刪除數據作為開鏈數據插入到目標表即可，注意刪除記錄的刪除標志DEL_IND會設置為『D』;

此類表在近源模型層比技術緩沖層，源系統的相應表額外增加三個物理化處理欄位START_DT(開始日期)，ENT_DT(結束日期)，DEL_IND(刪除標准)。使用方式分兩類：一時一般查詢使用，此時需要先選定視角日期，通過START_DT和END_DT去卡視角日期，即START_DT『視角日期』，同時加上條件DEL_IND 'D';另一種是下載或獲取當日增量數據，此時就是需要START_DT'視角日期' 一個條件即可，不需要加DEL_IND 'D'的條件。

此演算法通常用於流水事件表，適合這類演算法的源表在源系統中不會更新和刪除，而只會發生一筆添加一筆，所以只需每天將交易日期為當日的最新數據取過來直接附加到目標表即可;

通常建一張名為VT_NEW_編號的臨時表，用於將各組當日最新數據轉換加到VT_NEW_編號後，再一次附加到最終目標表;

此演算法通常用於無刪除操作的常規狀態表，一般是無需保留 歷史 而只保留當前最新狀態的表，適合這類演算法的源表在源系統中會新增，修改，但不刪除，所以需獲取當日末最新數據(增量或全量均可)，用於MERGE IN或UPSERT目標表;為了效率及識別真正增量的要求，通常先識別出真正的增量數據(新增及修改數據)，然後再用這些真正的增量數據向目標表進行MERGE INTO操作;

通常建兩張臨時表，一個名為VT_NEW_編號，用於將各組當日最新數據轉換加到VT_NEW_編號;另一張名為VT_INC_編號，將VT_NEW_編號與目標表中昨日的數據進行對比後找出真正的增量數據(新增和修改)放入VT_INC_編號，然後再用VT_INC_編號對最終目標表進行MERGE INTO或UPSERT。

此演算法通常用於無刪除操作的常規狀態表，適合這類演算法的源表在源系統中會新增、修改，但不刪除，所以需每天獲取當日末最新數據(增量或全增量均可)，先找出真正的增量數據(新增和修改)，用它們將目標表中屬性發生修改的開鏈數據(有效數據)進行關鏈操作(即END_DT關閉到當前業務日期)，然後再將最新增量數據作為開鏈數據插入到目標表即可;

通常建兩張臨時表，一個名為VT_NEW_編號，用於將各組當日最新數據轉換加到VT_NEW_編號;另一張名為VT_INC_編號，將VT_NEW_編號與目標表中昨日的數據進行對比後找出真正的增量數據(新增和修改)放入VT_INC_編號，然後再將最終目標表的開鏈數據中的PK出現在VT_INT_編號中進行關鏈處理，然後將VT_INC_編號中的所有數據作為開鏈數據插入最終目標表即可。

此演算法通常用於有刪除操作的常規狀態表，並且要求刪除數據是以DEL_IND='D'刪除增量的形式提供;適合這類演算法的源表再源系統中會新增、修改、刪除，除每天獲取當日末最新數據(增量或全量均可)外，還要獲取當日刪除的數據，根據找出的真正增量數據(新增和修改)以及刪除增量數據，用它們將目標表中屬性發生修改的開鏈數據(有效數據)進行關鏈操作(即END_DT關閉到當前業務時間)，然後再將增量(不含刪除數據)作為開鏈數據插入到目標表中即可;

通常建三張臨時表，一個名為VT_NEW_編號，用於將各組當日最新數據 (不含刪除數據)轉換載入到VT_NEW_編號;第二張表名為VT_INC_編號，用VT_NEW_編號與目標表中的昨日的數據進行對比後找出真正的增量數據放入VT_INC_編號;第三張表名為VT_DEL_編號，將刪除增量數據轉換載入到VT_DEL_編號;最後再將最終目標表的開鏈數據中PK出現在VT_INC_編號或VT_DEL_編號中的進行關鏈處理，最後將VT_INC_編號中的所有數據作為開鏈數據插入最終目標表即可;

此演算法通常用於有刪除操作的常規狀態表，並且要求提供全量數據，用以對比出刪除增量;適合這類演算法的源表在源系統中會新增、修改、每天將當日末的最新全量數據取過來外，分別找出真正的增量數據(新增、修改)和刪除增量數據，用它們將目標表中屬性發生修改的開鏈數據(有效記錄)進行關鏈操作(即END_DT關閉到當前業務時間)，然後再將最新數據中真正的增量數據(不含刪除數據)作為開鏈數據插入到目標表即可;

通常建兩張臨時表，一個名為VT_NEW_編號，用於將各組當日最新全量數據轉換到VT_NEW_編號;另一張表名為VT_INC_編號,將VT_NEW_編號與目標表中昨日的數據進行對比後找出真正的增量數據(新增、修改)和刪除增量數據放入VT_INC_編號，注意將其中的刪除增量數據的END_DT置以最小日期(借用);最後再將最終目標表的開鏈數據中PK出現再VT_INC_編號或VT_DEL_編號中的進行關鏈處理，然後將VT_INC_編號中所有的END_DT不等於最小日期數據(非刪除數據)作為開鏈數據插入最終目標表即可;

此演算法基本等同與常規拉演算法，只是在最後一步只將屬性非空即非0的記錄才作為開鏈數據插入目標表;

此演算法基本等同於基於增量數據刪除拉鏈演算法，只是在最後一步只將屬性非空及非0的記錄才作為開鏈數據插入目標表;

此演算法基本等同於基於全量數據刪除拉鏈演算法，只是在最後一步只將屬性非空及非0的記錄才作為開鏈數據插入目標表;

此演算法是對每一組只將PK在當前VT_NEW_編號表中未出現的數據再插入VT_NEW_編號表，最後再將PK未出現在目標表中的數據插入目標表，以保證只進那些PK未進過的數據;

此演算法是源表中有日期欄位標識當前記錄的生效日期，本演算法通過對同主鍵記錄按這個生效日期排序後，一次首尾相連行形成一條自然拉鏈的演算法

⑸ BI，數據倉庫，ETL，大數據開發工程師有什麼區別

這幾個職位都是跟數據有關的工作。
BI 是商業智能，職位包括etl,數據版倉權庫，數據展示工作。
數據倉庫，是按設定好的一種資料庫模型
ETL，負責清洗原始數據的一個過程，清洗完之後將數據載入至數據倉庫。
大數據開發，數據量較大，上千萬乃至億級的數據量開發

⑹ 大數據培訓3個月是否可以勝任ETL工程師

可以。不過看你的基礎怎麼樣了，如果有過資料庫操縱基礎，3個月是可以的，否則先學習資料庫知識吧。
ETL工程師又叫資料庫工程師。ETL工程師的主要工作內容有：從事系統編程、資料庫編程與設計。
ETL原本是作為構建數據倉庫的一個環節，負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。因為以前經常是將業務系統的數據取出來放到數倉中，按照星型或雪花型建模。

⑺ 什麼是「ETL」

ETL，是英文Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取（extract）、轉換（transform）、載入（load）至目的端的過程。ETL一詞較常用在數據倉庫，但其對象並不限於數據倉庫。

數據倉庫是棗芹為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。它是單個數據存儲，出於分析性報告和決策支持目的而創建。 為需要業務智能的企業，提供指導業務流程改進、監視時間、成本、質量以及控制。

ETL是將昌岩睜業務系統的數據經過抽取、清洗轉換之後載入到數據倉庫的過程，耐歲目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據， ETL是BI（商業智能）項目重要的一個環節。

(7)etl與大資料庫擴展閱讀：

ETL與ELT：

ETL所描述的過程，一般常見的作法包含ETL或是ELT（Extract-Load-Transform），並且混合使用。通常愈大量的數據、復雜的轉換邏輯、目的端為較強運算能力的資料庫，愈偏向使用ELT，以便運用目的端資料庫的平行處理能力。

ETL（orELT）的流程可以用任何的編程語言去開發完成，由於ETL是極為復雜的過程，而手寫程序不易管理，有愈來愈多的企業採用工具協助ETL的開發，並運用其內置的metadata功能來存儲來源與目的的對應（mapping）以及轉換規則。

工具可以提供較強大的連接功能（connectivity）來連接來源端及目的端，開發人員不用去熟悉各種相異的平台及數據的結構，亦能進行開發。當然，為了這些好處，付出的代價便是金錢。

⑻ ETL是什麼意思

ETL是指獲取原始大數據流，然後對其進行解析，並產生可用輸出數據集的過程。內

從數據源中提取（E）數據，然後經過容各種聚合、函數、組合等轉換（T），使其變為可用數據。最終，數據會被載入（L）到對它進行具體分析的環境中，這就是ETL流程。

全寫是Extract-Transform-Load。

1、E：Extract數據抽取

2、T：Transform轉換

3、L：Load裝載

(8)etl與大資料庫擴展閱讀：

作用

ETL是構建數據倉庫的重要一環，用戶從數據源抽取出所需的數據，經過數據清洗,最終按照預先定義好的數據倉庫模型，將數據載入到數據倉庫中去。

以電信為例，A系統按照統計代碼管理數據，B系統按照賬目數字管理，C系統按照語音ID管理，當ETL需要對這三個系統進行集成以獲得對客戶的全面視角時，這一過程需要復雜的匹配規則、名稱/地址正常化與標准化，而ETL在處理過程中會定義一個關鍵數據標准，並在此基礎上，制定相應的數據介面標准。

⑼ 大數據資料庫有哪些

問題一：大數據技術有哪些 非常多的，問答不能發link，不然我給你link了。有譬如Hadoop等開源大數據項目的，編程語言的，以下就大數據底層技術說下。
簡單以永洪科技的技術說下，有四方面，其實也代表了部分通用大數據底層技術：
Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：
跨粒度計算(In-Databaseputing)
Z-Suite支持各種常見的匯總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。
並行計算(MPP puting)
Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分布到多個計算節點，再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速，是實現大數據分析的關鍵應用技術。

問題二：大數據使用的資料庫是什麼資料庫 ORACLE、DB2、SQL SERVER都可以，關鍵不是選什麼資料庫，而是資料庫如何優化！ 需要看你日常如何操作，以查詢為主或是以存儲為主或2者，還要看你的數據結構，都要因地制宜的去優化！所以不是一句話說的清的！

問題三：什麼是大數據和大數據平台 大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。
大數據平台是為了計算，現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台。

問題四：常用大型資料庫有哪些 FOXBASE
MYSQL
這倆可算不上大型資料庫管理系統
PB 是資料庫應用程序開發用的ide，根本就不是資料庫管理系統
Foxbase是dos時代的產品了，進入windows時代改叫foxpro，屬於桌面單機級別的小型資料庫系統，mysql是個中輕量級的，但是開源，大量使用於小型網站，真正重量級的是Oracle和DB2，銀行之類的關鍵行業用的多是這兩個，微軟的MS SQLServer相對DB2和Oracle規模小一些，多見於中小型企業單位使用，Sybase可以說是日薄西山，不行了

問題五：幾大資料庫的區別 最商業的是ORACLE,做的最專業,然後是微軟的SQL server,做的也很好,當然還有DB2等做得也不錯,這些都是大型的資料庫,,,如果掌握的全面的話,可以保證數據的安全. 然後就是些小的資料庫access,mysql等,適合於中小企業的資料庫100萬數據一下的數據.如有幫助請採納,謝!

問題六：全球最大的資料庫是什麼 應該是Oracle，第一，Oracle為商業界所廣泛採用。因為它規范、嚴謹而且服務到位，且安全性非常高。第二，如果你學習使用Oracle不是商用，也可以免費使用。這就為它的廣泛傳播奠定了在技術人員中的基礎。第三，Linux/Unix系統常常作為伺服器，伺服器對Oracle的使用簡直可以說極其多啊。建議樓梗多學習下這個強大的資料庫

問題七：什麼是大數據？ 大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據的方法[2]）大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
說起大數據，就要說到商業智能：
商業智能（Business Intelligence，簡稱：BI），又稱商業智慧或商務智能，指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。

商業智能作為一個工具，是用來處理企業中現有數據，並將其轉換成知識、分析和結論，輔助業務或者決策者做出正確且明智的決定。是幫助企業更好地利用數據提高決策質量的技術，包含了從數據倉庫到分析型系統等。

商務智能的產生發展
商業智能的概念經由Howard Dresner(1989年)的通俗化而被人們廣泛了解。當時將商業智能定義為一類由數據倉庫（或數據集市）、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。

商務智能是20世紀90年代末首先在國外企業界出現的一個術語，其代表為提高企業運營性能而採用的一系列方法、技術和軟體。它把先進的信息技術應用到整個企業，不僅為企業提供信息獲取能力，而且通過對信息的開發，將其轉變為企業的競爭優勢，也有人稱之為混沌世界中的智能。因此，越來越多的企業提出他們對BI的需求，把BI作為一種幫助企業達到經營目標的一種有效手段。

目前，商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的，也可以是管理層和策略層的決策。

為了將數據轉化為知識，需要利用數據倉庫、線上分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是ETL、數據倉庫、OLAP、數據挖掘、數據展現等技術的綜合運用。

把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理，以保證數據的正確性，然後經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即ETL過程，合並到一個企業級的數據倉庫里，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變為輔助決策的知識），最後將知識呈現給管理者，為管理者的決策過程提供支持。
企業導入BI的優點
1.隨機查詢動態報表

2.掌握指標管理

3.隨時線上分析處理

4.視覺化之企業儀表版

5.協助預測規劃

導入BI的目的
1.促進企業決策流程(Facilitate the Business Decision-Making Process)：BIS增進企業的資訊整合與資訊分析的能力，匯總公司內、外部的資料，整合成有效的決策資訊，讓企業經理人大幅增進決策效率與改善決策品質。

......>>

問題八：資料庫有哪幾種？ 常用的資料庫：oracle、sqlserver、mysql、access、sybase 2、特點。 -oracle： 1.資料庫安全性很高，很適合做大型資料庫。支持多種系統平台（HPUX、SUNOS、OSF/1、VMS、 WINDOWS、WINDOWS/NT、OS/2）。 2.支持客戶機/伺服器體系結構及混合的體系結構（集中式、分布式、 客戶機/伺服器）。 -sqlserver: 1.真正的客戶機/伺服器體系結構。 2.圖形化用戶界面，使系統管理和資料庫管理更加直觀、簡單。 3.具有很好的伸縮性，可跨越從運行Windows 95/98的膝上型電腦到運行Windows 2000的大型多處理器等多種平台使用。 -mysql: MySQL是一個開放源碼的小型關系型資料庫管理系統，開發者為瑞典MySQL AB公司，92HeZu網免費贈送MySQL。目前MySQL被廣泛地應用在Internet上的中小型網站中。提供由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。 -access Access是一種桌面資料庫，只適合數據量少的應用，在處理少量數據和單機訪問的資料庫時是很好的，效率也很高。 但是它的同時訪問客戶端不能多於4個。 -

問題九：什麼是大數據 大數據是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 大數據首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取：關系資料庫、NOSQL、SQL等。
基礎架構：雲存儲、分布式文件存儲等。
數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機理解自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘：分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測：預測模型、機器學習、建模模擬。
結果呈現：雲計算、標簽雲、關系圖等。
要理解大數據這一概念，首先要從大入手，大是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
第一，數據體量巨大。從TB級別，躍升到PB級別。
第二，數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
第四，處理速度快。1秒定律。最後這一點也是和傳統的......>>

問題十：國內真正的大數據分析產品有哪些 國內的大數據公司還是做前端可視化展現的偏多，BAT算是真正做了大數據的，行業有硬性需求，別的行業跟不上也沒辦法，需求決定市場。
說說更通用的數據分析吧。
大數據分析也屬於數據分析的一塊，在實際應用中可以把數據分析工具分成兩個維度：
第一維度：數據存儲層――數據報表層――數據分析層――數據展現層
第二維度：用戶級――部門級――企業級――BI級
1、數據存儲層
數據存儲設計到資料庫的概念和資料庫語言，這方面不一定要深鑽研，但至少要理解數據的存儲方式，數據的基本結構和數據類型。SQL查詢語言必不可少，精通最好。可從常用的selece查詢，update修改，delete刪除，insert插入的基本結構和讀取入手。
Access2003、Access07等，這是最基本的個人資料庫，經常用於個人或部分基本的數據存儲；MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
SQL Server2005或更高版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台。
BI級別，實際上這個不是資料庫，而是建立在前面資料庫基礎上的，企業級應用的數據倉庫。Data Warehouse，建立在DW機上的數據存儲基本上都是商業智能平台，整合了各種數據分析，報表、分析和展現！BI級別的數據倉庫結合BI產品也是近幾年的大趨勢。
2、報表層
企業存儲了數據需要讀取，需要展現，報表工具是最普遍應用的工具，尤其是在國內。傳統報表解決的是展現問題，目前國內的帆軟報表FineReport已經算在業內做到頂尖，是帶著數據分析思想的報表，因其優異的介面開放功能、填報、表單功能，能夠做到打通數據的進出，涵蓋了早期商業智能的功能。
Tableau、FineBI之類，可分在報表層也可分為數據展現層。FineBI和Tableau同屬於近年來非常棒的軟體，可作為可視化數據分析軟體，我常用FineBI從資料庫中取數進行報表和可視化分析。相對而言，可視化Tableau更優，但FineBI又有另一種身份――商業智能，所以在大數據處理方面的能力更勝一籌。
3、數據分析層
這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具；
Excel軟體，首先版本越高越好用這是肯定的；當然對excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作！但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體；
SPSS軟體：當前版本是18，名字也改成了PASW Statistics；我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體；
SAS軟體：SAS相對SPSS其實功能更強大，SAS是平台化的，EM挖掘模塊平台整合，相對來講，SAS比較難學些，但如果掌握了SAS會更有價值，比如離散選擇模型，抽樣問題，正交實驗設計等還是SAS比較好用，另外，SAS的學習材料比較多，也公開，會有收獲的！
JMP分析：SAS的一個分析分支
XLstat：Excel的插件，可以完......>>

⑽ bi工程師,數據倉庫工程師,etl工程師有什麼區別

BI工程師、數據倉庫工程師、ETL工程師都屬於大數據工程技術人員，三種的主要區別如下：

一、工作內容不同

1、BI工程師：主要是報表開發，負責開發工作。

2、資料庫工程師：主要負責業務資料庫從設計、測試到部署交付的全生命消胡周期管理。

3、ETL工程師：從事系統編程、資料庫編程與設計。

二、要求不同

1、BI工程師：要有一定的資料庫經驗，掌握SQL查詢優化方法，精通Oracle、SQLServer、MySQL等主流資料庫的應用設計、性能調優及存儲過程的開發。

2、資料庫工程師：理解數據備份/恢復與災難中橋碼恢復；工具集的使用。

3、ETL工程師：要掌握各百種常用的編程語言。

三、特點不同

1、BI工程師：熟悉ETL邏輯、OLAP設計和數據挖掘相關演算法。

2、資料庫工程師：凡是關繫到資料庫質量、效率、成本、安全等方面的工作，及涉及到的技術、組件賣哪，都在資料庫工程師的技術范疇里。

3、ETL工程師：海量數據的ETL開發，抽取成各種數據需求。