A. 如何用Hive 往HBase里面插入大量的数据
通过hive-hbase-handler在Hive中建立外部表，映射到HBase表中，然后就可以通过Hive的INSERT语句直接将数据插入到HBase中。可以网络搜索"lxw的大数据田地"，里面有很多关于Hive的技术文章，肯定能找到你想要的。
B. Hbase扩容原理
Hbase是Hadoop的一个存储组件可以提供低延迟的读写操作，它一般构建在HDFS之上，可以处理海量的数据。Hbase有个很好的特性是可以自动分片，也就是意味着当表的数据量变得很大的时候，系统可以自动的分配这些数据。
Hbase的基本存储单位是Region，Region是表数据的子集，多个Region的数据集合可以组成一张完成的表数据。Region本质上存储的一些排好序的，连续的行数据。最初的时候一张表只有一个Region，当Region变得非常大的时候，Region就会从中间分裂成两个基本等大的Region。
在Hbase中，slave也被称作RegionServer，每个RegionServer负责管理一些Region，同时一个Region只能属于一个RegionServer。
一个RegionServer可以服务一个或多个Region，每个Region在Region Server启动的时候被分配。Master可以决定将一些Region从一个RegionServer中移动到令一个RegionServer里面，以便更好的负载均衡。当某个RegionServer故障的时候，Master也可以将它的Region分配给其他的RegionServer。
Region与RegionServer之间的映射关系存储在Zookeeper中的META表中，通过读取META表，你就可以知道那个Region可以负责处理你的rowkey操作，其实这也代表着在HBase读写操作的时候是不用经过Master节点的，你可以之间联系RegionServer。
如图，在客户端进行scan的时候，它可以之间联系多个RegionServer处理当前的操作。
Meta表是用来跟踪Region的，它包含服务器的名称，Region的名称，表名，还有Region的startkey。通过startkey的范围，客户端就可以定位到当前的key要去哪一个Region了。
客户端在请求过META表之后，一般会将表缓存起来，防止每次操作都去获取。在Region进行分裂的时候，客户端去RegionServer操作Region的时候回返回异常，然后客户端会重新获取最新的META表信息。
Hbase的java客户端API有两个主要的接口：
通过上面介绍，可以知道HBase虽然是Master/Slave架构的，但是并不是每次操作都经过Master的，读写数据的时候HBase只需要直接联系RegionServer即可。这也是HBase可以“无限扩容”的原因。在吞吐量不够的时候，通过增加RegionServer节点，可以增加吞吐量。
C. 如何用Hive 往HBase里面插入大量的数据
使用hive-hbase-handler，通过在Hive中建立外部表可以映射到HBase中的表，然后在Hive中往外部表中INSERT数据，即可完成对HBase表的数据插入。你可以搜索"lxw的大数据田地"查看Hive与HBase整合的相关文章。
D. hbase 统计表的数据量
1.count 'tableName',INTERVAL=>100000 /让芹歼/适用百万一下的数据量 ，INTERVAL 跨度条数
2.hbase 'org.apache.hadoop.hbase.maprece.RowCounter'首派 'tableName'//适用坦冲大数据量
E. hbase怎么支持大数据的写入
数据进行单条更改造数据验证逻辑前做hbase数据都导改完再重新载入
-
F. 如何提高spark批量读取HBase数据的性能
Configuration conf = HBaseConfiguration.create();
String tableName = "testTable";
Scan scan = new Scan();
scan.setCaching(10000);
scan.setCacheBlocks(false);
conf.set(TableInputFormat.INPUT_TABLE, tableName);
ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
String ScanToString = Base64.encodeBytes(proto.toByteArray());
conf.set(TableInputFormat.SCAN, ScanToString);
JavaPairRDD<ImmutableBytesWritable, Result> myRDD = sc
.newAPIHadoopRDD(conf, TableInputFormat.class,
ImmutableBytesWritable.class, Result.class);
在Spark使用如上Hadoop提供的标准接口读取表数据（全表读），读取5亿左右数据，要20M+，而同样的数据保存在Hive中，读取却只需要1M以内，性能差别非常大。
转载，仅供参考。
G. 做大数据分析系统Hadoop需要用哪些软件
1、ApacheMesos
代码托管地址：ApacheSVN
Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。
Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。
2、HadoopYARN
代码托管地址：ApacheSVN
YARN又被称为MapRece2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。
对比MapRece1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。
Hadoop上的实时解决方案
前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapRece，自然语言处理用Spark等。
3、ClouderaImpala
代码托管地址：GitHub
Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。
Impala不再使用缓慢的Hive+MapRece批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。
4、Spark
代码托管地址：Apache
Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。
Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。
5、Storm
代码托管地址：GitHub
Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。
Hadoop上的其它解决方案
就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。
6、Shark
代码托管地址：GitHub
Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。
Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。
7、Phoenix
代码托管地址：GitHub
Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。
Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。
8、ApacheAccumulo
代码托管地址：ApacheSVN
ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。
对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。
9、ApacheDrill
代码托管地址：GitHub
本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。
Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。
10、ApacheGiraph
代码托管地址：GitHub
ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。
Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。
11、ApacheHama
代码托管地址：GitHub
ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。
12、ApacheTez
代码托管地址：GitHub
ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Rece过程拆分成若干个子过程，同时可以把多个Map/Rece任务组合成一个较大的DAG任务，减少了Map/Rece之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。
13、ApacheAmbari
代码托管地址：ApacheSVN
ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。
ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。
目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapRece、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。
H. 大数据知识点里面的 HBase 是什么意思
HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。了解更多详情