A. 如何用Hive 往HBase裡面插入大量的數據
通過hive-hbase-handler在Hive中建立外部表，映射到HBase表中，然後就可以通過Hive的INSERT語句直接將數據插入到HBase中。可以網路搜索"lxw的大數據田地"，裡面有很多關於Hive的技術文章，肯定能找到你想要的。
B. Hbase擴容原理
Hbase是Hadoop的一個存儲組件可以提供低延遲的讀寫操作，它一般構建在HDFS之上，可以處理海量的數據。Hbase有個很好的特性是可以自動分片，也就是意味著當表的數據量變得很大的時候，系統可以自動的分配這些數據。
Hbase的基本存儲單位是Region，Region是表數據的子集，多個Region的數據集合可以組成一張完成的表數據。Region本質上存儲的一些排好序的，連續的行數據。最初的時候一張表只有一個Region，當Region變得非常大的時候，Region就會從中間分裂成兩個基本等大的Region。
在Hbase中，slave也被稱作RegionServer，每個RegionServer負責管理一些Region，同時一個Region只能屬於一個RegionServer。
一個RegionServer可以服務一個或多個Region，每個Region在Region Server啟動的時候被分配。Master可以決定將一些Region從一個RegionServer中移動到令一個RegionServer裡面，以便更好的負載均衡。當某個RegionServer故障的時候，Master也可以將它的Region分配給其他的RegionServer。
Region與RegionServer之間的映射關系存儲在Zookeeper中的META表中，通過讀取META表，你就可以知道那個Region可以負責處理你的rowkey操作，其實這也代表著在HBase讀寫操作的時候是不用經過Master節點的，你可以之間聯系RegionServer。
如圖，在客戶端進行scan的時候，它可以之間聯系多個RegionServer處理當前的操作。
Meta表是用來跟蹤Region的，它包含伺服器的名稱，Region的名稱，表名，還有Region的startkey。通過startkey的范圍，客戶端就可以定位到當前的key要去哪一個Region了。
客戶端在請求過META表之後，一般會將表緩存起來，防止每次操作都去獲取。在Region進行分裂的時候，客戶端去RegionServer操作Region的時候回返回異常，然後客戶端會重新獲取最新的META表信息。
Hbase的java客戶端API有兩個主要的介面：
通過上面介紹，可以知道HBase雖然是Master/Slave架構的，但是並不是每次操作都經過Master的，讀寫數據的時候HBase只需要直接聯系RegionServer即可。這也是HBase可以「無限擴容」的原因。在吞吐量不夠的時候，通過增加RegionServer節點，可以增加吞吐量。
C. 如何用Hive 往HBase裡面插入大量的數據
使用hive-hbase-handler，通過在Hive中建立外部表可以映射到HBase中的表，然後在Hive中往外部表中INSERT數據，即可完成對HBase表的數據插入。你可以搜索"lxw的大數據田地"查看Hive與HBase整合的相關文章。
D. hbase 統計表的數據量
1.count 'tableName',INTERVAL=>100000 /讓芹殲/適用百萬一下的數據量 ，INTERVAL 跨度條數
2.hbase 'org.apache.hadoop.hbase.maprece.RowCounter'首派 'tableName'//適用坦沖大數據量
E. hbase怎麼支持大數據的寫入
數據進行單條更改造數據驗證邏輯前做hbase數據都導改完再重新載入
-
F. 如何提高spark批量讀取HBase數據的性能
Configuration conf = HBaseConfiguration.create();
String tableName = "testTable";
Scan scan = new Scan();
scan.setCaching(10000);
scan.setCacheBlocks(false);
conf.set(TableInputFormat.INPUT_TABLE, tableName);
ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
String ScanToString = Base64.encodeBytes(proto.toByteArray());
conf.set(TableInputFormat.SCAN, ScanToString);
JavaPairRDD<ImmutableBytesWritable, Result> myRDD = sc
.newAPIHadoopRDD(conf, TableInputFormat.class,
ImmutableBytesWritable.class, Result.class);
在Spark使用如上Hadoop提供的標准介面讀取表數據（全表讀），讀取5億左右數據，要20M+，而同樣的數據保存在Hive中，讀取卻只需要1M以內，性能差別非常大。
轉載，僅供參考。
G. 做大數據分析系統Hadoop需要用哪些軟體
1、ApacheMesos
代碼託管地址：ApacheSVN
Mesos提供了高效、跨分布式應用程序和框架的資源隔離和共享，支持Hadoop、MPI、Hypertable、Spark等。
Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現容錯復制，使用LinuxContainers來隔離任務，支持多種資源計劃分配(內存和CPU)。提供Java、Python和C++APIs來開發新的並行應用程序，提供基於Web的用戶界面來提查看集群狀態。
2、HadoopYARN
代碼託管地址：ApacheSVN
YARN又被稱為MapRece2.0，借鑒Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供Java虛擬機內存的隔離。
對比MapRece1.x，YARN架構在客戶端上並未做太大的改變，在調用API及介面上還保持大部分的兼容，然而在YARN中，開發人員使用ResourceManager、ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一個中心的服務，負責調度、啟動每一個Job所屬的ApplicationMaster，另外還監控ApplicationMaster的存在情況;NodeManager負責Container狀態的維護，並向RM保持心跳。ApplicationMaster負責一個Job生命周期內的所有工作，類似老的框架中JobTracker。
Hadoop上的實時解決方案
前面我們有說過，在互聯網公司中基於業務邏輯需求，企業往往會採用多種計算框架，比如從事搜索業務的公司：網頁索引建立用MapRece，自然語言處理用Spark等。
3、ClouderaImpala
代碼託管地址：GitHub
Impala是由Cloudera開發，一個開源的MassivelyParallelProcessing(MPP)查詢引擎。與Hive相同的元數據、SQL語法、ODBC驅動程序和用戶介面(HueBeeswax)，可以直接在HDFS或HBase上提供快速、互動式SQL查詢。Impala是在Dremel的啟發下開發的，第一個版本發布於2012年末。
Impala不再使用緩慢的Hive+MapRece批處理，而是通過與商用並行關系資料庫中類似的分布式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成)，可以直接從HDFS或者HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。
4、Spark
代碼託管地址：Apache
Spark是個開源的數據分析集群計算框架，最初由加州大學伯克利分校AMPLab開發，建立於HDFS之上。Spark與Hadoop一樣，用於構建大規模、低延時的數據分析應用。Spark採用Scala語言實現，使用Scala作為應用框架。
Spark採用基於內存的分布式數據集，優化了迭代式的工作負載以及互動式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對象那樣管理分布式數據集。Spark支持分布式數據集上的迭代式任務，實際上可以在Hadoop文件系統上與Hadoop一起運行(通過YARN、Mesos等實現)。
5、Storm
代碼託管地址：GitHub
Storm是一個分布式的、容錯的實時計算系統，由BackType開發，後被Twitter捕獲。Storm屬於流處理平台，多用於實時計算並更新資料庫。Storm也可被用於「連續計算」(continuouscomputation)，對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用於「分布式RPC」，以並行的方式運行昂貴的運算。
Hadoop上的其它解決方案
就像前文說，基於業務對實時的需求，各個實驗室發明了Storm、Impala、Spark、Samza等流實時處理工具。而本節我們將分享的是實驗室基於性能、兼容性、數據類型研究的開源解決方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。
6、Shark
代碼託管地址：GitHub
Shark，代表了「HiveonSpark」，一個專為Spark打造的大規模數據倉庫系統，兼容ApacheHive。無需修改現有的數據或者查詢，就可以用100倍的速度執行HiveQL。
Shark支持Hive查詢語言、元存儲、序列化格式及自定義函數，與現有Hive部署無縫集成，是一個更快、更強大的替代方案。
7、Phoenix
代碼託管地址：GitHub
Phoenix是構建在ApacheHBase之上的一個SQL中間層，完全使用Java編寫，提供了一個客戶端可嵌入的JDBC驅動。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBasescan，並編排執行以生成標準的JDBC結果集。直接使用HBaseAPI、協同處理器與自定義過濾器，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒。Phoenix完全託管在GitHub之上。
Phoenix值得關注的特性包括：1，嵌入式的JDBC驅動，實現了大部分的java.sql介面，包括元數據API;2，可以通過多個行鍵或是鍵/值單元對列進行建模;3，DDL支持;4，版本化的模式倉庫;5，DML支持;5，通過客戶端的批處理實現的有限的事務支持;6，緊跟ANSISQL標准。
8、ApacheAccumulo
代碼託管地址：ApacheSVN
ApacheAccumulo是一個可靠的、可伸縮的、高性能、排序分布式的鍵值存儲解決方案，基於單元訪問控制以及可定製的伺服器端處理。使用GoogleBigTable設計思路，基於ApacheHadoop、Zookeeper和Thrift構建。Accumulo最早由NSA開發，後被捐獻給了Apache基金會。
對比GoogleBigTable，Accumulo主要提升在基於單元的訪問及伺服器端的編程機制，後一處修改讓Accumulo可以在數據處理過程中任意點修改鍵值對。
9、ApacheDrill
代碼託管地址：GitHub
本質上，ApacheDrill是GoogleDremel的開源實現，本質是一個分布式的mpp查詢層，支持SQL及一些用於NoSQL和Hadoop數據存儲系統上的語言，將有助於Hadoop用戶實現更快查詢海量數據集的目的。當下Drill還只能算上一個框架，只包含了Drill願景中的初始功能。
Drill的目的在於支持更廣泛的數據源、數據格式及查詢語言，可以通過對PB位元組數據的快速掃描(大約幾秒內)完成相關分析，將是一個專為互動分析大型數據集的分布式系統。
10、ApacheGiraph
代碼託管地址：GitHub
ApacheGiraph是一個可伸縮的分布式迭代圖處理系統，靈感來自BSP(bulksynchronousparallel)和Google的Pregel，與它們區別於則是是開源、基於Hadoop的架構等。
Giraph處理平台適用於運行大規模的邏輯計算，比如頁面排行、共享鏈接、基於個性化排行等。Giraph專注於社交圖計算，被Facebook作為其OpenGraph工具的核心，幾分鍾內處理數萬億次用戶及其行為之間的連接。
11、ApacheHama
代碼託管地址：GitHub
ApacheHama是一個建立在Hadoop上基於BSP(BulkSynchronousParallel)的計算框架，模仿了Google的Pregel。用來處理大規模的科學計算，特別是矩陣和圖計算。集群環境中的系統架構由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)這3大塊組成。
12、ApacheTez
代碼託管地址：GitHub
ApacheTez是基於HadoopYarn之上的DAG(有向無環圖，DirectedAcyclicGraph)計算框架。它把Map/Rece過程拆分成若干個子過程，同時可以把多個Map/Rece任務組合成一個較大的DAG任務，減少了Map/Rece之間的文件存儲。同時合理組合其子過程，減少任務的運行時間。由Hortonworks開發並提供主要支持。
13、ApacheAmbari
代碼託管地址：ApacheSVN
ApacheAmbari是一個供應、管理和監視ApacheHadoop集群的開源框架，它提供一個直觀的操作工具和一個健壯的HadoopAPI,可以隱藏復雜的Hadoop操作，使集群操作大大簡化，首個版本發布於2012年6月。
ApacheAmbari現在是一個Apache的頂級項目，早在2011年8月，Hortonworks引進Ambari作為ApacheIncubator項目，制定了Hadoop集群極致簡單管理的願景。在兩年多的開發社區顯著成長，從一個小團隊，成長為Hortonworks各種組織的貢獻者。Ambari用戶群一直在穩步增長，許多機構依靠Ambari在其大型數據中心大規模部署和管理Hadoop集群。
目前ApacheAmbari支持的Hadoop組件包括：HDFS、MapRece、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。
H. 大數據知識點裡面的 HBase 是什麼意思
HBASE是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集群。了解更多詳情