導航:首頁 > 編程大全 > kettle資料庫查詢組件

kettle資料庫查詢組件

發布時間:2024-01-09 13:22:04

linux環境kettle連接不了資料庫資源庫

首先感謝樓上兩位大神的回答,再說一下問題的錯誤原因:
1、是因為這部署kettle的這台伺服器上沒有MySQL的客戶端,所以根本無法訪問到資料庫,太疏忽了。。。
2、接下來換了一台裝有MySQL客戶端的伺服器,進行部署。也是有問題,是由於我創建的資源庫用戶沒有許可權訪問那台資料庫(只開通了外網連接許可權,未開通localhost許可權)
---賦予許可權(外網)
grant all on lisnew.* to ods_rep@"%" identified by 'ods_rep';
---賦予許可權(內網/本地)
grant all privileges on . to ods_rep@localhost identified by 'ods_rep';
【注】:ods_rep用戶為資源庫用戶,命令含義可在網路查詢

Ⅱ 關於ETL工具kettle連接國產達夢資料庫問題,用過的請進

1、下載來最新的kettle版本

2、把達夢對自應JDK版本的jdbc驅動放在D:\kettle\pdi-ce-4.4.0-stable\data-integration\libext\JDBC安裝目錄下面

3、在connection type中選擇generic database右側填好url和Driver

大數據etl工具有哪些

ETL是數據倉庫中的非常重要的一環,是承前啟後的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。

下面給大家介紹一下什麼是ETL以及ETL常用的三種工具——Datastage,Informatica,Kettle。

一、什麼是ETL?
ETL,Extract-Transform-Load 的縮寫,用來描述將數據從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程。

數據倉庫結構
通俗的說法就是從數據源抽取數據出來,進行清洗加工轉換,然後載入到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標准不統一的數據整合到一起,為企業的決策提供分析依據。

ETL是BI項目重要的一個環節,其設計的好壞影響生成數據的質量,直接關繫到BI項目的成敗。

二、為什麼要用ETL工具?
在數據處理的時候,我們有時會遇到這些問題:

▶ 當數據來自不同的物理主機,這時候如使用SQL語句去處理的話,就顯得比較吃力且開銷也更大。

▶ 數據來源可以是各種不同的資料庫或者文件,這時候需要先把他們整理成統一的格式後才可以進行數據的處理,這一過程用代碼實現顯然有些麻煩。

▶ 在資料庫中我們當然可以使用存儲過程去處理數據,但是處理海量數據的時候存儲過程顯然比較吃力,而且會佔用較多資料庫的資源,這可能會導致數據資源不足,進而影響資料庫的性能。

而上述遇到的問題,我們用ETL工具就可以解決。ETL工具具有以下幾點優勢:

1、支持多種異構數據源的連接。(部分)

2、圖形化的界面操作十分方便。

3、處理海量數據速度快、流程更清晰等。

三、ETL工具介紹
1、Datastage

IBM公司的商業軟體,最專業的ETL工具,但同時價格不菲,適合大規模的ETL應用。

使用難度:★★★★

2、Informatica

商業軟體,相當專業的ETL工具。價格上比Datastage便宜一點,也適合大規模的ETL應用。

使用難度:★★

3、Kettle

免費,最著名的開源產品,是用純java編寫的ETL工具,只需要JVM環境即可部署,可跨平台,擴展性好。

使用難度:★★

四、三種ETL工具的對比
Datastage、Informatica、Kettle三個ETL工具的特點和差異介紹:

1、操作

這三種ETL工具都是屬於比較簡單易用的,主要看開發人員對於工具的熟練程度。

Informatica有四個開發管理組件,開發的時候我們需要打開其中三個進行開發,Informatica沒有ctrl+z的功能,如果對job作了改變之後,想要撤銷,返回到改變前是不可能的。相比Kettle跟Datastage在測試調試的時候不太方便。Datastage全部的操作在同一個界面中,不用切換界面,能夠看到數據的來源,整個job的情況,在找bug的時候會比Informatica方便。

Kettle介於兩者之間。

2、部署

Kettle只需要JVM環境,Informatica需要伺服器和客戶端安裝,而Datastage的部署比較耗費時間,有一點難度。

3、數據處理的速度

大數據量下Informatica與Datastage的處理速度是比較快的,比較穩定。Kettle的處理速度相比之下稍慢。

4、服務

Informatica與Datastage有很好的商業化的技術支持,而Kettle則沒有。商業軟體的售後服務上會比免費的開源軟體好很多。

5、風險

風險與成本成反比,也與技術能力成正比。

6、擴展

Kettle的擴展性無疑是最好,因為是開源代碼,可以自己開發拓展它的功能,而Informatica和Datastage由於是商業軟體,基本上沒有。

7、Job的監控

三者都有監控和日誌工具。

在數據的監控上,個人覺得Datastage的實時監控做的更加好,可以直觀看到數據抽取的情況,運行到哪一個控制項上。這對於調優來說,我們可以更快的定位到處理速度太慢的控制項並進行處理,而informatica也有相應的功能,但是並不直觀,需要通過兩個界面的對比才可以定位到處理速度緩慢的控制項。有時候還需要通過一些方法去查找。

8、網上的技術文檔

Datastage < Informatica < kettle,相對來說,Datastage跟Informatica在遇到問題去網上找到解決方法的概率比較低,kettle則比較多。

五、項目經驗分享
在項目中,很多時候我們都需要同步生產庫的表到數據倉庫中。一百多張表同步、重復的操作,對開發人員來說是細心和耐心的考驗。在這種情況下,開發人員最喜歡的工具無疑是kettle,多個表的同步都可以用同一個程序運行,不必每一張表的同步都建一個程序,而informatica雖然有提供工具去批量設計,但還是需要生成多個程序進行一一配置,而datastage在這方面就顯得比較笨拙。

在做增量表的時候,每次運行後都需要把將最新的一條數據操作時間存到資料庫中,下次運行我們就取大於這個時間的數據。Kettle有控制項可以直接讀取資料庫中的這個時間置為變數;對於沒有類似功能控制項的informatica,我們的做法是先讀取的資料庫中的這個時間存到文件,然後主程序運行的時候指定這個文件為參數文件,也可以得到同樣的效果

閱讀全文

與kettle資料庫查詢組件相關的資料

熱點內容
英朗換氣囊如何編程 瀏覽:913
國外人都用什麼app采購 瀏覽:669
梅林寶具升級效果 瀏覽:512
為什麼用u8數據備份不了 瀏覽:703
java文件路徑怎麼讀 瀏覽:690
ps被重復命名的文件怎麼找回 瀏覽:564
少兒編程五級有什麼用 瀏覽:529
網路詞有毒是什麼意思 瀏覽:218
蘋果未越獄怎麼裝ipa文件 瀏覽:831
app版權信息頁怎麼寫 瀏覽:334
現成的編程代碼在哪裡下載 瀏覽:362
java7隨機數 瀏覽:890
網路連接度是什麼意思 瀏覽:610
頭條文件路徑在哪裡 瀏覽:833
java主進程 瀏覽:5
軟體app怎麼分享給別人 瀏覽:547
win10怎麼取消使用簡單文件共享 瀏覽:470
微信小程序編譯不變 瀏覽:551
地推推廣哪些app好 瀏覽:974
win10怎麼查無線網密碼是多少 瀏覽:66

友情鏈接