開源數據交換工具

1. 哪位高手可以推薦幾款通用的資料庫管理工具

1、MySQL Workbench
MySQL Workbench是一款專為MySQL設計的ER/資料庫建模工具。它是著名的資料庫設計工具DBDesigner4的繼任者。你可以用MySQL Workbench設計和創建新的資料庫圖示，建立資料庫文檔，以及進行復雜的MySQL 遷移
MySQL Workbench是下一代的可視化資料庫設計、管理的工具，它同時有開源和商業化的兩個版本。該軟體支持Windows和Linux系統，下面是一些該軟體運行的界面截圖：

2、資料庫管理工具 Navicat Lite
NavicatTM是一套快速、可靠並價格相宜的資料庫管理工具，大可使用來簡化資料庫的管理及降低系統管理成本。它的設計符合資料庫管理員、開發人員及中小企業的需求。 Navicat是以直覺化的使用者圖形介面所而建的，讓你可以以安全且簡單的方式建立、組織、存取並共用資訊。
界面如下圖所示：

Navicat 提供商業版Navicat Premium 和免費的版本 Navicat Lite 。免費版本的功能已經足夠強大了。
Navicat 支持的資料庫包括MySQL、Oracle、SQLite、PostgreSQL和SQL Server 等。

3、開源ETL工具Kettle
Kettle是一款國外開源的etl工具，純java編寫，綠色無需安裝，數據抽取高效穩定(數據遷移工具)。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數據的基礎轉換，job則完成整個工作流的控制。

·授權協議：LGPL
·開發語言： Java
·操作系統： 跨平台
4、Eclipse SQLExplorer
SQLExplorer是Eclipse集成開發環境的一種插件，它可以被用來從Eclipse連接到一個資料庫。
SQLExplorer插件提供了一個使用SQL語句訪問資料庫的圖形用戶介面（GUI）。通過使用SQLExplorer，你能夠顯示表格、表格結構和表格中的數據，以及提取、添加、更新或刪除表格數據。
SQLExplorer同樣能夠生成SQL腳本來創建和查詢表格。所以，與命令行客戶端相比，使用SQLExplorer可能是更優越的選擇，下圖是運行中的界面，很好很強大。

l授權協議： 未知
l開發語言： Java
l操作系統： 跨平台
5、MySQL管理工具phpMyAdmin
phpMyAdmin是一個非常受歡迎的基於web的MySQL資料庫管理工具。它能夠創建和刪除資料庫，創建/刪除/修改表格,刪除/編輯/新增欄位，執行SQL腳本等。

l授權協議：GPL
l開發語言：PHP
l操作系統：跨平台
6、Mongodb 管理工具Mongodb Studio
Mongodb是一款性能優良，功能豐富的文檔型非關系型資料庫。由於該資料庫是開源項目並且還在不斷更新中，目前為止在任何平台上都不能找到功能相對完整的客戶端資料庫管理工具。而越來越多的項目中使用了Mongodb，使得管理起來十分麻煩.如果點點滑鼠就搞定了.那該有多好。
基於如上背景，我們製作了此MongoDB管理工具，在DBA/開發/管理員三個維度提供一定層次的管理功能。

Mongodb Management Studio功能如下:
l伺服器管理功能
添加伺服器,刪除伺服器
l伺服器,資料庫,表,列,索引,樹形顯示和狀態信息查看
l查詢分析器功能.
支持select,insert,Delete,update
支持自定義分頁函 數 $rowid(1,5)查詢第一條到第五條,需放在select後面.
l索引管理功能
支持列名的顯示,索引的創建,查看,刪除.
l資料庫Profile管理.
可以設置Profile開關,查看Profile信息.自定義分頁大小.
lmaster/slave信息顯示
7、MySQL監控小工具mycheckpoint
mycheckpoint是一個開源的 MySQL監控工具，主要用來監控數據。通過視圖方式提供監控數據報表。mycheckpoint支持以獨立的Web伺服器來運行。
例如：SELECTinnodb_read_hit_percent, DML FROM sv_report_chart_sample;

查看詳細報表示例。
安裝手冊：http://code.openark.org/forge/mycheckpoint/documentation/installation
8、SQL SERVER 資料庫發布向導
Microsoft SQL Server DatabasePublishing Wizard (微軟SQLServer資料庫發布向導) 是微軟發布的一個開源工具，使用該工具可以幫你將SQLSERVER 資料庫導出成一個 SQL腳本，類似 MySQL 的 mysqlmp工具。
官方說明：SQLServer資料庫發布向導提供了一種將資料庫發布到 T-SQL 腳本或者直接發布到支持宿主服務提供程序的方法。

9、Eclipse 的Oracle插件jOra
jOra是一個為 Oracle開發者和管理員提供的 Eclipse 插件，可輕松的對Oracle進行開發和管理。
安裝地址：http://jora.luenasoft.de/updatesite
插件截圖

l授權協議：免費，非開源
l開發語言：Java
l操作系統：跨平台
10、免費PostgreSQL監控工具pgwatch
pgwatch 是一個簡單易用的PostgreSQL的監控工具，支持PostgreSQL 9.0 以及更新的版本。
主要特性：
- 配置簡單
- 大量的監控圖表
- 快速系統檢查面板
- 自動收集統計信息
- 互動式的 Flash 圖表
- 集成 SQL worksheet

l授權協議： Artistic
l開發語言：PHP
l操作系統： Linux
11、MySQL Browser
MySQL的客戶端工具MySQL Browser的優點是簡單，及其的簡單，安裝之後能夠立刻上手，馬上就能使用的那種，布局也很簡陋，功能也很簡陋，簡單使用沒有問題，尤其是剛開始學習mysql的同學，可以嘗試一下。

·授權協議：未知
·操作系統： Windows
12、MySQL客戶端軟體HeidiSQL
HeidiSQL是一個功能非常強大的 MySQL 客戶端軟體，採用Delphi 開發，支持 Windows 操作系統。

l授權協議：GPL
l開發語言：Delphi/Pascal
l操作系統： Windows
13、SQLite管理工具SQLiteStudio
SQLiteStudio 是一個跨平台的 SQLite資料庫的管理工具，採用 Tcl語言開發。
l授權協議：未知
l操作系統：跨平台
14、SQL客戶端工具SQLyog
SQLyog 是一個易於使用的、快速而簡潔的圖形化管理MYSQL資料庫的工具，它能夠在任何地點有效地管理你的資料庫。

功能：
l快速備份和恢復數據；
l以GRID/ TEXT格式顯示結果；
l支持客戶端挑選、過濾數據；
l批量執行很大的SQL腳本文件；
l快速執行多重查詢並能夠返回每頁超過1000條的記錄集，而這種操作是直接生成在內存中的；
l程序本身非常短小精悍！壓縮後只有348 KB ；
l完全使用MySQLC APIs程序介面；
l以直觀的表格界面建立或編輯數據表；
l以直觀的表格界面編輯數據；
l進行索引管理；
l創建或刪除資料庫；
l操縱資料庫的各種許可權：庫、表、欄位；
l編輯BLOB類型的欄位，支持Bitmap/GIF/JPEG格式；
l輸出數據表結構/數據為SQL腳本；
l支持輸入/輸出數據為CSV文件；
l可以輸出資料庫清單為HTML文件；
l為所有操作建立日誌；
l個人收藏管理操作語句；
l支持語法加亮顯示；
l可以保存記錄集為CSV、HTML、XML格式的文件；
l21、99% 的操作都可以通過快捷鍵完成；
l支持對數據表的各種高級屬性修改；
l查看數據伺服器的各種狀態、參數等；
l支持更改數據表類型為ISAM, MYISAM, MERGE, HEAP, InnoDB, BDB；
l刷新數據伺服器、日誌、許可權、表格等；
l診斷數據表：檢查、壓縮、修補、分析。
l授權協議：GPLv2
l開發語言：C/C++
l操作系統： Windows
15、數據挖掘工具RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
功能和特點
l免費提供數據挖掘技術和庫；
l100%用Java代碼（可運行在操作系統）；
l數據挖掘過程簡單，強大和直觀；
l內部XML保證了標准化的格式來表示交換數據挖掘過程；
l可以用簡單腳本語言自動進行大規模進程；
l多層次的數據視圖，確保有效和透明的數據；
l圖形用戶界面的互動原型；
l命令行（批處理模式）自動大規模應用；
lJava API（應用編程介面）；
l簡單的插件和推廣機制；
l強大的可視化引擎，許多尖端的高維數據的可視化建模；
l400多個數據挖掘運營商支持；
l耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。

l授權協議：未知
l開發語言：Java
l操作系統：跨平台
16、Oracle 資料庫開發工具Oracle SQL Developer
Oracle SQL Developer 是一個免費非開源的用以開發資料庫應用程序的圖形化工具，使用SQLDeveloper 可以瀏覽資料庫對象、運行 SQL 語句和腳本、編輯和調試 PL/SQL語句。另外還可以創建執行和保存報表。該工具可以連接任何 Oracle 9.2.0.1 或者以上版本的 Oracle 資料庫，支持Windows、Linux 和 Mac OS X 系統。

·授權協議：免費，非開源
·開發語言：Java
·操作系統：Windows Linux MacOS
17、EMS SQL Manager for MySQL
EMS SQL Manager for MySQL是一款高性能MySQL資料庫伺服器系統的管理和開發工具。它支持從MySQL 3.23到6.0的任一版本，並支持最新版本的MySQL的特點，包括：查看、存儲規程和函數、InnoDB外部鍵字和其他特點。它提供了大量工具以滿足富有經驗的用戶的所有要求。添加了精心設計的操作向導系統，以及SQL Manager for MySQL那富有藝術感的圖形用戶界面，即使新手也可以不會為如何使用而感到困擾。

l授權協議：商業軟體
l開發語言：C/C++
l操作系統： Windows
18、資料庫管理工具CoolSQL
CoolSQL是一個資料庫客戶端管理工具。
·支持大部分資料庫包括：DB2、oracle、mysql、MS SQL Server、Derby、HSQL、Informix、Sybase、PostgresSQL等。
·為用戶提供友好和漂亮UI，其整體框架由視圖組成類似於Eclipse。支持直接修改SQL查詢結果。
·支持將表格數據導出成文本文件，EXCEL和HTML。
·擁有一個支持SQL語法著色顯示，智能提示，文本編輯和查找的SQL編輯器。
·能夠展示資料庫大部分元數據包括：版本，數據類型、函數，連接信息等。
·支持導出數據對象信息包括對象數據（INSERT SQL語句），生成創建/刪除腳本（create script/drop script）。
·所有SQL腳本都可以以批量的模式執行。
·能夠搜索所有數據包括資料庫列，表/視圖和其他表格型。
·支持i18n，當前提供兩種語言（中文和英文）。
·提供收藏功能，管理由用戶收集的文本信息。
·支持通過插件擴展其功能。

ll 授權協議：未知
l開發語言：Java
l操作系統：跨平台
19、SQLite Manager
這是一款方便firefox對任何SQLite資料庫操作的擴展。使用這款擴展，可以在firefox下很容易的創建表格、建立索引、瀏覽搜索等操作。此外它還具有一個語法檢查功能的下拉式菜單，從而保證用戶的操作不會出錯。

20、MySQL GUI Tools
這是MySQL官方專業的資料庫管理工具，同時支持多種操作系統。該工具包括下面三個產品：
·MySQL Administrator 1.2
·MySQL Query Browser 1.2
·MySQL MigrationToolkit 1.1

21、SQL客戶端管理工具SQuirreL SQL Client
SQuirreL SQL Client是一個SQL客戶端管理工具。它允許你查看一個兼容JDBC的資料庫的結構，瀏覽表格中的數據，運行SQL命令, 可連接的資料庫有ORCAL,MS SQLSERVER, DB2 等, 它還允許用戶安裝和創建用於補充應用程序基本功能的插件。

功能和特點：
l柱狀圖顯示對像；
l自動完成；
l語句提示；
l標記；
l自動糾正；
l編輯查詢結果；
l關系圖；
l分頁列印。
l授權協議：未知
l語言：Java
l操作系統：跨平台
22、Tomcat管理工具EasyTomcat
EasyTomcat是一個用來幫助簡化 Tomcat和 MySQL管理的系統，你可以啟動、停止和配置Tomcat和MySQL伺服器，同時也提供了監控的功能。

l授權協議：未知
l開發語言：Java
l操作系統：跨平台
23、SQL Server管理工具sqlBuddy
SqlBuddy是C#編寫的一款用於Microsoft SQLServer和MSDE的開源工具，使用它可以很容易的編寫SQL腳本。SqlBuddy提供的功能和查詢分析器的目的有些微不同，它傾向於幫助使用者編寫SQL。

l授權協議：未知
l開發語言：C#
l操作系統： Windows
24、資料庫開發工具GSQL
GSQL 是 Gnome 下的一個集成資料庫開發工具。資料庫結構顯示在下圖左邊的樹狀結構中，支持SQL的語法著色。

l授權協議：未知
l操作系統：Linux
25、SQLite資料庫管理SQLiteSpy
sqlitespy是一個快速和緊湊的資料庫SQLite的GUI管理軟體 。它的圖形用戶界面使得它很容易探討，分析和操縱sqlite3資料庫。

l授權協議：未知
l開發語言：Delphi/Pascal
l操作系統：Windows
26、資料庫開發工具Aqua Data Studio
Aqua DataStudio 是一個為資料庫開發人員准備的集成開發環境，可以對資料庫做查詢、管理，提供大量的資料庫工具，例如資料庫比較、源碼控制等，目前支持的資料庫包括：Oracle, DB2iSeries, DB2 LUW, MS SQL Server, Sybase ASE, Sybase Anywhere, Sybase IQ, Informix,PostgreSQL, MySQL, Apache Derby, JDBC, and ODBC.

l授權協議：未知
l開發語言：C/C++
l操作系統：跨平台
27、MySQL 架構管理工具MySQL MMM
MySQL Master-Master 架構常被用在 SQLquery 相依性低的情況，像是 counter常使用的INSERT INTO ... ON DUPLICATEKEY UPDATE a = a + 1不會因為out-of-order而造成問題。而 MySQL MMM算是其中一套寫得比較好的 MySQLMaster-Master架構管理工具。
l授權協議：未知
l開發語言：Python
l操作系統： Linux
28、MySQL Client
MySQL的客戶端工具，主界面如下：

l授權協議：未知
l操作系統：Windows

2. 大數據如何入門

首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

大數據

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

3. ETL的工具應用

ETL工具的典型代表有:Informatica、Datastage、OWB、微軟DTS、Beeload、Kettle、久其ETL……
開源的工具有eclipse的etl插件:cloveretl
數據集成：快速實現ETL
ETL的質量問題具體表現為正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等幾個特性。而影響質量問題的原因有很多，由系統集成和歷史數據造成的原因主要包括:業務系統不同時期系統之間數據模型不一致；業務系統不同時期業務過程有變化；舊系統模塊在運營、人事、財務、辦公系統等相關信息的不一致；遺留系統和新業務、管理系統數據集成不完備帶來的不一致性。
實現ETL，首先要實現ETL轉換的過程。體現為以下幾個方面：
1、空值處理：可捕獲欄位空值，進行載入或替換為其他含義數據，並可根據欄位空值實現分流載入到不同目標庫。
2、規范化數據格式：可實現欄位格式約束定義，對於數據源中時間、數值、字元等數據，可自定義載入格式。
3、拆分數據：依據業務需求對欄位可進行分解。例，主叫號 861082585313-8148，可進行區域碼和電話號碼分解。
4、驗證數據正確性：可利用Lookup及拆分功能進行數據驗證。例如，主叫號861082585313-8148，進行區域碼和電話號碼分解後，可利用Lookup返回主叫網關或交換機記載的主叫地區，進行數據驗證。
5、數據替換：對於因業務因素，可實現無效數據、缺失數據的替換。
6、Lookup：查獲丟失數據 Lookup實現子查詢，並返回用其他手段獲取的缺失欄位，保證欄位完整性。
7、建立ETL過程的主外鍵約束：對無依賴性的非法數據，可替換或導出到錯誤數據文件中，保證主鍵唯一記錄的載入。

4. 如何編譯開源的數據同步工具dbsync

軟體特性DBSync數據同步工具是一款異構資料庫之間數據同步的工具，目前支持的資料庫有：access、sqlserver、oracle、db2、sybasease12.5,同時，該軟體提供的ODBC的同步功能，可以間接實現對MYSQL,SYBASE,INTERBASE等其他資料庫的支持,該版本實現了對二進制欄位同步的支持，以後的版本中，會逐漸支持其他類型的資料庫。DBsync還提供批量腳本更新的功能（參照界面中定義的規范），該工具可以實現計劃、增量、兩表記錄保持一致等方式的同步操作。DBSync同時提供給開發商二次開發的介面，開發商可以很方便地配置需要進行同步的數據。新增的快速事務處理功能，能提供百萬級數據記錄的同步能力。新加入的遠程同步任務功能，可以和遠程數據交換伺服器組合成為全球數據交換系統;遠程文件同步任務，和遠程數據交換伺服器配合，組成公司內部使用的可靠文件備份系統。其具體的功能包括：1)不同資料庫表之間數據的同步或增量同步功能（以記錄為單位）;2)數據同步以任務的方式定義（新增任務，刪除任務，修改任務）；3)同步任務的調度（立即執行，定時，或以固定時間間隔方式執行）；4)每天執行結果的報告,也可以以實時的方式進行報表的查看；5)數據安全性（以事務的方式處理每一個同步任務）；6)同步任務的導入導出功能；7)以工作流的方式實現數據的同步（暫時未實現）;8)支持常用的資料庫記錄操作（添加記錄，修改記錄，刪除記錄，執行存儲過程）；

5. 大數據雲計算好不好學習

說一下大數據的四個典型的特徵：

• 數據量大；

• 數據類型繁多，（結構化、非結構化文本、日誌、視頻、圖片、地理位置等）；

• 商業價值高，但需要在海量數據之上，通過數據分析與機器學習快速的挖掘出來；

• 處理時效性高，海量數據的處理需求不再局限在離線計算當中。

第一章：Hadoop

在大數據存儲和計算中Hadoop可以算是開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。

關於Hadoop，你至少需要搞清楚這些是什麼：

自己學會如何搭建Hadoop，先讓它跑起來。建議先使用安裝包命令行安裝，不要使用管理工具安裝。現在都用Hadoop 2.0。

目錄操作命令；上傳、下載文件命令；提交運行MapRece示常式序；打開Hadoop WEB界面，查看Job運行狀態，查看Job運行日誌。知道Hadoop的系統日誌在哪裡。

以上完成之後，就應該去了解他們的原理了：

MapRece：如何分而治之；HDFS：數據到底在哪裡，究竟什麼才是副本；

Yarn到底是什麼，它能幹什麼；NameNode到底在幹些什麼；Resource Manager到底在幹些什麼；

如果有合適的學習網站，視頻就去聽課，如果沒有或者比較喜歡書籍，也可以啃書。當然最好的方法是先去搜索出來這些是干什麼的，大概有了概念之後，然後再去聽視頻。

第二章：更高效的wordCount

在這里，一定要學習SQL，它會對你的工作有很大的幫助。

就像是你寫（或者抄）的WordCount一共有幾行代碼？但是你用SQL就非常簡單了，例如：

SELECT word,COUNT(1) FROM wordcount GROUP BY word；

這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，而SQL一行搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL介面。

另外就是SQL On Hadoop之Hive於大數據而言一定要學習的。

什麼是Hive？

官方解釋如下：The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax。

為什麼說Hive是數據倉庫工具，而不是資料庫工具呢？

有的朋友可能不知道數據倉庫，數據倉庫是邏輯上的概念，底層使用的是資料庫，數據倉庫中的數據有這兩個特點：最全的歷史數據（海量）、相對穩定的；所謂相對穩定，指的是數據倉庫不同於業務系統資料庫，數據經常會被更新，數據一旦進入數據倉庫，很少會被更新和刪除，只會被大量查詢。而Hive，也是具備這兩個特點，因此，Hive適合做海量數據的數據倉庫工具，而不是資料庫工具。

了解了它的作用之後，就是安裝配置Hive的環節，當可以正常進入Hive命令行是，就是安裝配置成功了。

了解Hive是怎麼工作的

學會Hive的基本命令：

創建、刪除表；載入數據到表；下載Hive表的數據；

MapRece的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統計出現次數最多的10個單詞及次數）；

HDS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；

自己會寫簡單的MapRece程序，運行出現問題，知道在哪裡查看日誌；

會寫簡單的Select、Where、group by等SQL語句；

Hive SQL轉換成MapRece的大致流程；

Hive中常見的語句：創建表、刪除表、往表中載入數據、分區、將表中數據下載到本地；

從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapRece是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL介面，開發人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapRece，提交運行。

此時，你的」大數據平台」是這樣的：那麼問題來了，海量數據如何到HDFS上呢？

第三章：數據採集

把各個數據源的數據採集到Hadoop上。

3.1 HDFS PUT命令

這個在前面你應該已經使用過了。put命令在實際環境中也比較常用，通常配合shell、python等腳本語言來使用。建議熟練掌握。

3.2 HDFS API

HDFS提供了寫數據的API，自己用編程語言將數據寫入HDFS，put命令本身也是使用API。

實際環境中一般自己較少編寫程序使用API來寫數據到HDFS，通常都是使用其他框架封裝好的方法。比如：Hive中的INSERT語句，Spark中的saveAsTextfile等。建議了解原理，會寫Demo。

3.3 Sqoop

Sqoop是一個主要用於Hadoop/Hive與傳統關系型資料庫，Oracle、MySQL、SQLServer等之間進行數據交換的開源框架。就像Hive把SQL翻譯成MapRece一樣，Sqoop把你指定的參數翻譯成MapRece，提交到Hadoop運行，完成Hadoop與其他資料庫之間的數據交換。

自己下載和配置Sqoop（建議先使用Sqoop1，Sqoop2比較復雜）。了解Sqoop常用的配置參數和方法。

使用Sqoop完成從MySQL同步數據到HDFS；使用Sqoop完成從MySQL同步數據到Hive表；如果後續選型確定使用Sqoop作為數據交換工具，那麼建議熟練掌握，否則，了解和會用Demo即可。

3.4 Flume

Flume是一個分布式的海量日誌採集和傳輸框架，因為「採集和傳輸框架」，所以它並不適合關系型資料庫的數據採集和傳輸。Flume可以實時的從網路協議、消息系統、文件系統採集日誌，並傳輸到HDFS上。

因此，如果你的業務有這些數據源的數據，並且需要實時的採集，那麼就應該考慮使用Flume。

下載和配置Flume。使用Flume監控一個不斷追加數據的文件，並將數據傳輸到HDFS；Flume的配置和使用較為復雜，如果你沒有足夠的興趣和耐心，可以先跳過Flume。

3.5 阿里開源的DataX

現在DataX已經是3.0版本，支持很多數據源。

第四章：把Hadoop上的數據搞到別處去

Hive和MapRece進行分析了。那麼接下來的問題是，分析完的結果如何從Hadoop上同步到其他系統和應用中去呢？其實，此處的方法和第三章基本一致的。

HDFS GET命令：把HDFS上的文件GET到本地。需要熟練掌握。

HDFS API：同3.2.

Sqoop：同3.3.使用Sqoop完成將HDFS上的文件同步到MySQL；使用Sqoop完成將Hive表中的數據同步到MySQL。

如果你已經按照流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：

知道如何把已有的數據採集到HDFS上，包括離線採集和實時採集；

知道sqoop是HDFS和其他數據源之間的數據交換工具；

知道flume可以用作實時的日誌採集。

從前面的學習，對於大數據平台，你已經掌握的不少的知識和技能，搭建Hadoop集群，把數據採集到Hadoop上，使用Hive和MapRece來分析數據，把分析結果同步到其他數據源。

接下來的問題來了，Hive使用的越來越多，你會發現很多不爽的地方，特別是速度慢，大多情況下，明明我的數據量很小，它都要申請資源，啟動MapRece來執行。

第五章：SQL

其實大家都已經發現Hive後台使用MapRece作為執行引擎，實在是有點慢。因此SQL On Hadoop的框架越來越多，按我的了解，最常用的按照流行度依次為SparkSQL、Impala和Presto.這三種框架基於半內存或者全內存，提供了SQL介面來快速查詢分析Hadoop上的數據。

我們目前使用的是SparkSQL，至於為什麼用SparkSQL，原因大概有以下吧：使用Spark還做了其他事情，不想引入過多的框架；Impala對內存的需求太大，沒有過多資源部署。

5.1 關於Spark和SparkSQL

什麼是Spark，什麼是SparkSQL。

Spark有的核心概念及名詞解釋。

SparkSQL和Spark是什麼關系，SparkSQL和Hive是什麼關系。

SparkSQL為什麼比Hive跑的快。

5.2 如何部署和運行SparkSQL

Spark有哪些部署模式？

如何在Yarn上運行SparkSQL？

使用SparkSQL查詢Hive中的表。Spark不是一門短時間內就能掌握的技術，因此建議在了解了Spark之後，可以先從SparkSQL入手，循序漸進。

關於Spark和SparkSQL，如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的。

第六章：數據多次利用

請不要被這個名字所誘惑。其實我想說的是數據的一次採集、多次消費。

在實際業務場景下，特別是對於一些監控日誌，想即時的從日誌中了解一些指標（關於實時計算，後面章節會有介紹），這時候，從HDFS上分析就太慢了，盡管是通過Flume採集的，但Flume也不能間隔很短就往HDFS上滾動文件，這樣會導致小文件特別多。

為了滿足數據的一次採集、多次消費的需求，這里要說的便是Kafka。

關於Kafka：什麼是Kafka？Kafka的核心概念及名詞解釋。

如何部署和使用Kafka：使用單機部署Kafka，並成功運行自帶的生產者和消費者例子。使用Java程序自己編寫並運行生產者和消費者程序。Flume和Kafka的集成，使用Flume監控日誌，並將日誌數據實時發送至Kafka。

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的。

這時，使用Flume採集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。

如果你已經認真完整的學習了以上的內容，那麼你應該已經具備以下技能和知識點：

為什麼Spark比MapRece快。

使用SparkSQL代替Hive，更快的運行SQL。

使用Kafka完成數據的一次收集，多次消費架構。

自己可以寫程序完成Kafka的生產者和消費者。

從前面的學習，你已經掌握了大數據平台中的數據採集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據採集任務成功完成後，數據計算任務才能開始運行。如果一個任務執行失敗，需要給開發運維人員發送告警，同時需要提供完整的日誌來方便查錯。

第七章：越來越多的分析任務

不僅僅是分析任務，數據採集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發，有點則需要依賴其他任務來觸發。當平台中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平台的中樞系統，類似於AppMaster，負責分配和監控任務。

7.1 Apache Oozie

Oozie是什麼？有哪些功能？

Oozie可以調度哪些類型的任務（程序）？

Oozie可以支持哪些任務觸發方式？

安裝配置Oozie。

7.2 其他開源的任務調度系統

Azkaban，light-task-scheler，Zeus，等等。另外，我這邊是之前單獨開發的任務調度與監控系統，具體請參考《大數據平台任務調度與監控系統》。

第八章：我的數據要實時

在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景，實時基本可以分為絕對實時和准實時，絕對實時的延遲要求一般在毫秒級，准實時的延遲要求一般在秒、分鍾級。對於需要絕對實時的業務場景，用的比較多的是Storm，對於其他准實時的業務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。

8.1 Storm

什麼是Storm？有哪些可能的應用場景？

Storm由哪些核心組件構成，各自擔任什麼角色？

Storm的簡單安裝和部署。

自己編寫Demo程序，使用Storm完成實時數據流計算。

8.2 Spark Streaming

什麼是Spark Streaming，它和Spark是什麼關系？

Spark Streaming和Storm比較，各有什麼優缺點？

使用Kafka + Spark Streaming，完成實時計算的Demo程序。

至此，你的大數據平台底層架構已經成型了，其中包括了數據採集、數據存儲與計算（離線和實時）、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。

第九章：數據要對外

通常對外（業務）提供數據訪問，大體上包含以下方面。

離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；離線數據的提供可以採用Sqoop、DataX等離線數據交換工具。

實時：比如，在線網站的推薦系統，需要實時從數據平台中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底層的數據模型比較規范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模，那麼Kylin是最好的選擇。

即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。

這么多比較成熟的框架和方案，需要結合自己的業務需求及數據平台技術架構，選擇合適的。原則只有一個：越簡單越穩定的，就是最好的。