ambri修改配置文件参数

1. 大数据分析一般用什么工具分析

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。

首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。

1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;

接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。

1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。

2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;

1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;

2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。

1、PowerPoint软件：大部分人都是用PPT写报告。

2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;

3、Swiff Chart软件：制作图表的软件，生成的是Flash

2. hadoop要求电脑内存

1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭建haddop+hive或者hadoop+hbase等，管理起来也非常的不便，得自己写脚本来实现监控。当然了，也有它的好处，就是达到能运行起来，占用的内存并不多，8G的笔记本也能运行hadoop+hive或者hadoop+hbase，现在主流的pc机器应该都支持，也适合入门，对了解各个配置文件的作用及一些参数的调整有好处。

2、使用hortonworks的ambari来搭建 hadoop集群，这个占用的内存不算太多，也支持添加常用的组件同时运行，如zookeeper,hadoop,hive,hbase,flume等，ambari也是开源的，能满足大部分的初学者及一些为节约成本的企业需求。但ambari对一些组件的支持还是不够，如impala,ku，hue等，这些组件最早都是由cloudera公司开发的，虽然目前ambari也支持，但可能对他们的兼容性还不够完善，可能会遇到一些问题。对于16G的笔记本来说，用ambari来搭建学习环境是完全没问题的。

3、对于CDH爱好者来说，16G笔记本其实也是可以搭建并运行起来的，当然了，这个真只能单节点了。只是在安装集群时候，最开始先只添加必要的服务，如zookpper，hdfs。其它服务可以安装完成之后再添加的。安装完成后，把下面的Cloudera Management Service给停掉，这可以节约几个G的内存(至少2-3G)，停用后，不影响集群的正常工作，这只是用于资源监控的，我停用后，添加的组件和CM界面效果如下:

目前上述服务全部都是启动状态，可以正常使用。本人笔记本16G内存，下面是我虚拟机的内存情况：

当然本人物理机打开的应用除了虚拟机之外，还可以开一个xshell和idea开发工具，再多开一些应用就会卡了，当然也可以停掉一些用不到的服务来减小内存消耗。

3. 大数据如何入门

首先我们要了解java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

4. 大数据分析一般用什么工具分析

今天就我们用过的几款大数据分析工具简单总结一下，与大家分享。

1、Tableau

这个号称敏捷BI的扛把子，魔力象限常年位于领导者象限，界面清爽、功能确实很强大，实至名归。将数据拖入相关区域，自动出图，图形展示丰富，交互性较好。图形自定义功能强大，各种图形参数配置、自定义设置可以灵活设置，具备较强的数据处理和计算能力，可视化分析、交互式分析体验良好。确实是一款功能强大、全面的数据可视化分析工具。新版本也集成了很多高级分析功能，分析更强大。但是基于图表、仪表板、故事报告的逻辑，完成一个复杂的业务汇报，大量的图表、仪表板组合很费事。给领导汇报的PPT需要先一个个截图，然后再放到PPT里面。作为一个数据分析工具是合格的，但是在企业级这种应用汇报中有点局限。

2、PowerBI

PowerBI是盖茨大佬推出的工具，我们也兴奋的开始试用，确实完全不同于Tableau的操作逻辑，更符合我们普通数据分析小白的需求，操作和Excel、PPT类似，功能模块划分清晰，上手真的超级快，图形丰富度和灵活性也是很不错。但是说实话，毕竟刚推出，系统BUG很多，可视化分析的功能也比较简单。虽然有很多复杂的数据处理功能，但是那是需要有对Excel函数深入理解应用的基础的，所以要支持复杂的业务分析还需要一定基础。不过版本更新倒是很快，可以等等新版本。

3、Qlik

和Tableau齐名的数据可视化分析工具，QlikView在业界也享有很高的声誉。不过Qlik Seanse产品系列才在大陆市场有比较大的推广和应用。真的是一股清流，界面简洁、流程清晰、操作简单，交互性较好，真的是一款简单易用的BI工具。但是不支持深度的数据分析，图形计算和深度计算功能缺失，不能满足复杂的业务分析需求。

最后将视线聚焦国内，目前搜索排名和市场宣传比较好的也很多，永洪BI、帆软BI、BDP等。不过经过个人感觉整体宣传大于实际。

4、永洪BI

永洪BI功能方面应该是相对比较完善的，也是拖拽出图，有点类似Tableau的逻辑，不过功能与Tableau相比还是差的不是一点半点，但是操作难度居然比Tableau还难。预定义的分析功能比较丰富，图表功能和灵活性较大，但是操作的友好性不足。宣传拥有高级分析的数据挖掘功能，后来发现就集成了开源的几个算法，功能非常简单。而操作过程中大量的弹出框、难以理解含义的配置项，真的让人很晕。一个简单的堆积柱图，就研究了好久，看帮助、看视频才搞定。哎，只感叹功能藏得太深，不想给人用啊。

5、帆软BI

再说号称FBI的帆软BI，帆软报表很多国人都很熟悉，功能确实很不错，但是BI工具就真的一般般了。只能简单出图，配合报表工具使用，能让页面更好看，但是比起其他的可视化分析、BI工具，功能还是比较简单，分析的能力不足，功能还是比较简单。帆软名气确实很大，号称行业第一，但是主要在报表层面，而数据可视化分析方面就比较欠缺了。

6、Tempo

另一款工具，全名叫“Tempo大数据分析平台”，宣传比较少，2017年Gartner报告发布后无意中看到的。是一款BS的工具，申请试用也是费尽了波折啊，永洪是不想让人用，他直接不想卖的节奏。

第一次试用也是一脸懵逼，不知道该点那！不过抱着破罐子破摔的心态稍微点了几下之后，操作居然越来越流畅。也是拖拽式操作，数据可视化效果比较丰富，支持很多便捷计算，能满足常用的业务分析。最最惊喜的是它还支持可视化报告导出PPT，彻底解决了分析结果输出的问题。深入了解后，才发现他们的核心居然是“数据挖掘”，算法十分丰富，也是拖拽式操作，我一个文科的分析小白，居然跟着指导和说明做出了一个数据预测的挖掘流，简直不要太惊喜。掌握了Tempo的基本操作逻辑后，居然发现他的易用性真的很不错，功能完整性和丰富性也很好。