大数据和大型机

㈠ 大数据技术Hadoop笔试题

大数据技术Hadoop笔试题

导读：Hadoop有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上。以下是由我J.L为您整理推荐的面试笔试题目和经验，欢迎参考阅读。

单项选择题

1. 下面哪个程序负责 HDFS 数据存储。

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

2. HDfS 中的 block 默认保存几份?

a)3 份

b)2 份

c)1 份

d)不确定

3. 下列哪个程序通常与 NameNode 在一个节点启动?

a)SecondaryNameNode

b)DataNode

c)TaskTracker

d)Jobtracker

4. Hadoop 作者

a)Martin Fowler

b)Kent Beck

c)Doug cutting

5. HDFS 默认 Block Size

a)32MB

b)64MB

c)128MB

6. 下列哪项通常是集群的最主要瓶颈

a)CPU

b)网络

c)磁盘

d)内存

7. 关于 SecondaryNameNode 哪项是正确的?

a)它是 NameNode 的热备

b)它对内存没有要求

c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间

d)SecondaryNameNode 应与 NameNode 部署到一个节点

多选题

8. 下列哪项可以作为集群的管理工具

a)Puppet

b)Pdsh

c)Cloudera Manager

d)d)Zookeeper

9. 配置机架感知的下面哪项正确

a)如果一个机架出问题，不会影响数据读写

b)写入数据的时候会写到不同机架的 DataNode 中

c)MapRece 会根据机架获取离自己比较近的网络数据

10. Client 端上传文件的时候下列哪项正确

a)数据经过 NameNode 传递给 DataNode

b)Client 端将文件切分为 Block，依次上传

c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作

11. 下列哪个是 Hadoop 运行的模式

a)单机版

b)伪分布式

c)分布式

12. Cloudera 提供哪几种安装 CDH 的方法

a)Cloudera manager

b)Tar ball

c)Yum d)Rpm

判断题

13. Ganglia 不仅可以进行监控，也可以进行告警。( )

14. Block Size 是不可以修改的。( )

15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。( )

16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。( )

17. Cloudera CDH 是需要付费使用的。( )

18. Hadoop 是 Java 开发的，所以 MapRece 只支持 Java 语言编写。( )

19. Hadoop 支持数据的随机读写。( )

20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( )

21. NameNode 本地磁盘保存了 Block 的位置信息。( )

22. DataNode 通过长连接与 NameNode 保持通信。( )

23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( )

24. Slave 节点要存储数据，所以它的磁盘越大越好。( )

25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( )

26. Hadoop 默认调度器策略为 FIFO( )

27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。( )

28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( )

29. 每个 map 槽就是一个线程。( )

30. Maprece 的 input split 就是一个 block。( )

31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( )

32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( )

33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。( )

别走开，答案在后面哦!

1. 下面哪个程序负责 HDFS 数据存储。答案C datanode

a)NameNode

b)Jobtracker

c)Datanode

d)secondaryNameNode

e)tasktracker

2. HDfS 中的 block 默认保存几份? 答案A默认3分

a)3 份

b)2 份

c)1 份

d)不确定

3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D

a)SecondaryNameNode

b)DataNode

c)TaskTracker

d)Jobtracker

此题分析：

hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和 tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。

JobTracker和TaskTracker

JobTracker 对应于 NameNode

TaskTracker 对应于 DataNode

DataNode 和NameNode 是针对数据存放来而言的

JobTracker和TaskTracker是对于MapRece执行而言的

maprece中几个主要概念，maprece整体上可以分为这么几条执行线索：obclient，JobTracker与TaskTracker。

1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker, 然后由JobTracker创建每一个Task(即MapTask和ReceTask)并将它们分发到各个TaskTracker服务中去执行。

2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于 TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。

3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上。

4. Hadoop 作者 答案C Doug cutting

a)Martin Fowler

b)Kent Beck

c)Doug cutting

5. HDFS 默认 Block Size 答案：B

a)32MB

b)64MB

c)128MB

(因为版本更换较快，这里答案只供参考)

6. 下列哪项通常是集群的最主要瓶颈：答案：C磁盘

a)CPU

b)网络

c)磁盘IO

d)内存

该题解析：

首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?

1.cpu处理能力强

2.内存够大

所以集群的瓶颈不可能是a和d

3.网络是一种稀缺资源，但是并不是瓶颈。

4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。

7. 关于 SecondaryNameNode 哪项是正确的?答案C

a)它是 NameNode 的热备

b)它对内存没有要求

c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间

d)SecondaryNameNode 应与 NameNode 部署到一个节点。

多选题：

8. 下列哪项可以作为集群的管理?答案：ABD

a)Puppet

b)Pdsh

c)Cloudera Manager

d)Zookeeper

9. 配置机架感知的下面哪项正确：答案ABC

a)如果一个机架出问题，不会影响数据读写

b)写入数据的时候会写到不同机架的 DataNode 中

c)MapRece 会根据机架获取离自己比较近的网络数据

10. Client 端上传文件的时候下列哪项正确?答案B

a)数据经过 NameNode 传递给 DataNode

b)Client 端将文件切分为 Block，依次上传

c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作

该题分析：

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

11. 下列哪个是 Hadoop 运行的模式：答案ABC

a)单机版

b)伪分布式

c)分布式

12. Cloudera 提供哪几种安装 CDH 的方法?答案：ABCD

a)Cloudera manager

b)Tarball

c)Yum

d)Rpm

判断题：

13. Ganglia 不仅可以进行监控，也可以进行告警。( 正确)

分析：此题的目的是考Ganglia的'了解。严格意义上来讲是正确。ganglia作为一款最常用的Linux环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套监控管理的系统。

14. Block Size 是不可以修改的。(错误 )

分析：它是可以被修改的Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop- site.xml的配置(这个文件初始的时候配置为空)，hadoop-site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。

15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。(错误 )

分析：Nagios是集群监控工具，而且是云计算三大利器之一

16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。(错误 )

分析：SecondaryNameNode是帮助恢复，而不是替代，如何恢复，可以查看

17. Cloudera CDH 是需要付费使用的。(错误 )

分析：第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、监控、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 丛集大小变动。

18. Hadoop 是 Java 开发的，所以 MapRece 只支持 Java 语言编写。(错误 )

分析：rhadoop是用R语言开发的，MapRece是一个框架，可以理解是一种思想，可以使用其他语言开发。

19. Hadoop 支持数据的随机读写。(错 )

分析：lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。HBase提供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行;也可以很“宽”，有数百万个列;水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检索。

20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。(错误)

此题分析：

NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。

1)文件写入

Client向NameNode发起文件写入的请求。

NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

2)文件读取

Client向NameNode发起文件读取的请求。

21. NameNode 本地磁盘保存了 Block 的位置信息。( 个人认为正确，欢迎提出其它意见)

分析：DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。NameNode返回文件存储的DataNode的信息。

Client读取文件信息。

22. DataNode 通过长连接与 NameNode 保持通信。( )

这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。

首先明确一下概念：

(1).长连接

Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。这种方式下由于通讯连接一直存在，此种方式常用于点对点通讯。

(2).短连接

Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式常用于一点对多点通讯，比如多个Client连接一个Server.

23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。(错误 )

hadoop只能阻止好人犯错，但是不能阻止坏人干坏事

24. Slave 节点要存储数据，所以它的磁盘越大越好。( 错误)

分析：一旦Slave节点宕机，数据恢复是一个难题

25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。(错误 )

26. Hadoop 默认调度器策略为 FIFO(正确 )

27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。(错误 )

分析：首先明白什么是RAID，可以参考网络磁盘阵列。这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。

28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。(错误 )

29. 每个 map 槽就是一个线程。(错误 )

分析：首先我们知道什么是map 槽,map 槽->map slotmap slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程

30. Maprece 的 input split 就是一个 block。(错误 )

31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。(错误 )

32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( 错误)

hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。

33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。(错误 )

分析：

首先明白介绍，什么ClusterID

ClusterID

添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。

二次整理

有的同学问题的重点不是上面分析内容：内容如下：

这个报错是说明 DataNode 所装的Hadoop版本和其它节点不一致，应该检查DataNode的Hadoop版本

;

㈡ 大数据在云计算中转换的4个步骤

大数据在云计算中转换的4个步骤
如今的企业必须向顾客提供始终如一的高价值体验，否则会失去顾客。他们正在求助于大数据技术。通过大数据分析，组织可以更好地了解他们的客户，了解他们的习惯，并预测他们的需求，以提供更好的客户体验。但是，大数据转换的路径并不简单。传统数据库管理和数据仓库设备变得过于昂贵，难以维护和规模化。此外，他们无法应对当今面临的挑战，其中包括非结构化数据，物联网(IoT)，流数据，以及数字转型相结合的其他技术。大数据转换的答案是云计算。参与大数据决策的IT专业人士中有64%的人表示已将技术堆栈转移到云端，或正在扩大其实施。根据调研机构Forrester公司的研究，另外23%的企业计划在未来12个月内转向云端。利用云计算的好处是显着的。调查对象最常引用的优势是IT成本较低;竞争优势;开拓新见解的能力;建立新客户应用程序的能力;易于整合;有限的安全风险;并减少时间。大数据在云端的挑战虽然云计算的好处是巨大的，但转移大数据可能会带来一些挑战：具体来说：数据集成：66%的IT专业人士表示，数据集成在公共云中变得更为复杂。安全性：61%表示关注数据访问和存储。传统设施：64%的人表示从传统基础设施/系统过渡过于复杂。技能：67%的人表示担心大数据所需技能和建设基础设施的技能。克服云计算挑战的4个步骤 组织如何克服这些挑战并将其转化为机会?以下是利用云计算进行大数据转换的四个关键步骤：(1)数据集成如果组织具有多样化且复杂的数据生态系统，那么并非所有的云或大数据技术都可以无缝地集成数据。选择需要复杂数据转换的目标技术可能并不理想。在选择任何技术之前完成数据管道分析。这样可以降低创建不连贯数据和不兼容系统的风险。(2)安全性如果组织的数据是机密和专有的，或者需要解决严格的安全和合规性要求，则可能会对数据放在云端有所担心。在这种情况下，具有高度自定义网络和加密功能的单租户的私有云解决方案可以为组织提供所需的大数据功能，以及专用环境的安全性。另外，请记住，公共云并不意味着“不安全”。AWS和微软Azure等领先供应商提供云原生安全认证解决方案，并提供包括磁盘级加密和严格的授权，以及认证技术的选项。云计算中的数据安全性正在快速成熟。许多具有严格的安全和合规要求的组织已经成功地利用公共云上的大数据技术。(3)原有传统系统从原来的传统基础架构的转型总是涉及到数据迁移，通常会涉及这三个路径的其中一个： ·提升和转移：将现有工作负载转移到云基础设施即服务，只是利用云计算，存储和网络功能，无需复杂的应用程序重写，同时提供可扩展基础架构的优势。·随着时间的推移，停用原有系统的数据：将现有数据保留在旧系统上，并将新数据直接发送到基于云计算的新平台，无需数据迁移。新功能和功能被设计为云就绪。·复杂的数据转换：这涉及数据驱动应用程序的现代化，最适用于应用程序接近生命周期。其示例包括从大型机，AS / 400和较旧的关系数据库管理系统转移到新的数据库，如Hive，Hadoop和HBase。(4)技能大数据实现取决于不同的技能，包括开发人员，管理人员，云计算和大型数据架构师。市场对这些专家供不应求，所以组织经常要求内部人员或合同人员超越其核心能力进行工作，这会减慢实现的速度。选择以交钥匙为基础提供这些功能的供应商是更为经济的。确保它在专用环境和公其云上大规模管理多个复杂的大数据环境。结论大数据的应用已经成为许多行业的巨大差异。成功开展业务的公司已经在行业中脱颖而出，这些公司不能面对落后的风险。云计算提供了最快，最安全，最具前途的大数据转换途径。 不要担心数据集成，安全性，传统系统或技能阻止组织进行正确的移动。这些都比人们想象的要容易得多。

㈢ 华为大数据解决方案是什么

现在有好多公司在做大数据，不仅仅只有华为。比如北京开运联合信息技术股份有限公司大数据解决方案是要根据您所需要的行业，来定制的。

㈣ 大数据时代 如何成为“煤老板”

大数据时代 如何成为“煤老板”_数据分析师考试

在大数据时代下，数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

数据挖掘

大数据是最近两年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战(一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算)。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。

大数据需要映射为小的单元进行计算，再对所有的结果进行整合，就是所谓的map-rece算法框架。在单个计算机上进行的计算仍然需要采用一些数据挖掘技术，区别是原先的一些数据挖掘技术不一定能方便地嵌入到 map-rece 框架中，有些算法需要调整。

此外，大数据处理能力的提升也对统计学提出了新的挑战。统计学理论往往建立在样本上，而在大数据时代，可能得到的是总体，而不再是总体的不放回抽样。

以山西开矿的煤老板为例：

开矿的前提是有矿，包括煤矿的储藏量，储藏深度，煤的成色。

之后是挖矿，要把这些埋在地下的矿挖出来，需要挖矿工，挖矿机，运输机。

之后是加工，洗煤，炼丹，等等。

最后才是转化为银子。

数据行业十分类似：

挖掘数据的前提是有数据，包括数据的储藏量，储藏深度，数据的成色。

之后是数据挖掘，要把这些埋藏的数据挖掘出来。

之后是数据分析输出，要把这些数据可视化输出，指导分析、商业实践。

直到这一步，才创造了价值。

所谓的大数据，大约就是说现在有座正在形成的巨型矿山，快去抢占成为煤老板吧，下一个盖茨兴许将在这里诞生。

接下来好好说。如果说硬要说相似度的话，那么重合度的确是有很高。因为大数据干的事情其实就是数据挖掘做的事情。

数据挖掘之前叫 KDD(Knowledge Discovery and Data Mining, 或者也可以是 Knowledge Discovery in Database)，这样说就很好解释了。数据挖掘就是从海量的数据中发现隐含的知识和规律。那么说，这个东西是啥时候提出来的?上个世纪。大数据啥时候提出来的?也就这几年的事情吧。所以说，大数据很大程度上是数据挖掘的一个好听的名字。

以上是小编为大家分享的关于大数据时代 如何成为“煤老板”的相关内容，更多信息可以关注环球青藤分享更多干货

㈤ 数据中心基础设施是大数据战略成败的关键

数据中心基础设施是大数据战略成败的关键
为了成功实施大数据战略，企业数据中心基础设施的建设应当从围绕云计算，过渡到围绕大数据展开，这需要数据中心基础架构为大数据作出五大改变。
以下内容转自机房360：
为大数据选择新的硬件、存储和其它数据中心基础设施，这是IT专业人员们所面临的新挑战。
大数据是具备空前规模和形式的非结构化信息。它包括视频、图像，以及半结构化的数据（例如在Web上常见的电子邮件和文本）。随着基于传感器的移动Web监视设备和输出数据越来越多，可用的数据量将继续呈指数级增长。
推行大数据战略的压力往往来自高层，因为管理者相信，能有效运用数据的企业将比落后者具备更大优势。大数据战略需要数据中心基础架构作出的改变主要有五点：
一、支持大数据的硬件
大数据导致的存储需求量每年都将增长60%至80%，鉴于这种快速增长和当前的成本限制，IT采购者应选择在可扩展性和存储速度上最具成本效益的硬件。类似大型机的向上扩展体系结构重新兴起，因为它们能够经济高效地扩展，降低总体拥有成本。同样，在提升性能方面，固态硬盘（SSD）和固态卡带都比传统磁盘做得更好。
类似IBM Netezza和Oracle Exadata的硬件装置已被证实能有效兼顾可扩展性和性能。考虑采用硬件装置来支持关键大数据业务，但也应确认设备的架构能在未来提供快速性能升级。
二、围绕大数据选择存储
在成功的大数据策略下，企业可以将来自内部的高质量数据与Hadoop挖掘自多个云供应商的低质量数据进行整合。这也就改善了业务相关数据的质量，让分散在各地的数据能组织成为具备一致和及时性的大数据资源。
大数据正在改变中央数据仓储和松耦合数据集市的决策基础，后者的存储库规模要小得多，既可以替代中央数据仓库，也可以成为中央数据仓库的数据源。随着各地办事机构或者国际子公司的增加，中央管理层在业务线扩大的同时更需要高质量的数据来维持管控力度，避免权力的分散。
新的软件技术承担了繁重的存储相关处理工作。由Composite Software（刚刚被Cisco收购）和Denodo提供的数据虚拟化软件能自动发现数据源并提取数据充实全局元数据存储库，为整个组织提供跨越内部和外部的所有数据的公共数据库外观和体验。主数据管理软件通过创建公用主记录提高了数据质量，消除了费时的数据仓库检索。
企业Web外链需求加深了对公众和混合云的依赖。许多大型企业发现他们需要来自于多个云供应商的大数据，却不能指望供云应商会负责整合这些数据。企业只能从数据虚拟化供应商寻求工具来跨多个云整合大数据。
三、利用SSD的存储分层策略
存储成本很高，而且越快的存储也就越昂贵。最重要的是，大数据要求存储同时提供大容量和“大”性能。存储分层在存储资源池中提供多种成本/性能选项，从昂贵的高性能固态存储到传统的串行SCSI（SAS）磁盘存储，这些选项的组合降低了总拥有成本。在主内存和磁盘之间增加一个固态层将有助于将大数据任务的性能维持在高位，而且不会引起存储成本失控。
SSD的用量应遵从“90-10”的存储分层规则：成本和速度的最佳组合比例是：使用大约10%的SSD和90%的机械硬盘。这一策略让IT公司用仅增加10%成本的代价就能获得90%以上的性能提升。主内存和SSD的容量比例也遵从同样的规则。
由于SSD的性能价格比的提升速度超过传统磁盘（容量提升，价格降低），预计在不久的将来传统磁盘和SSD的配置比例会变为遵循80-20的规则。
IBM BLU Acceleration这类最新的纵列和内存数据库设施能利用SSD获得远超传统磁盘的性能，它们的设计能够有效发挥SSD这类“扁平化磁盘”的优势。
四、大数据分析和报告能力
虽然嵌入式分析工具已经可以利用报告和自动优化功能改善业务流程，但大数据再次改变了分析规则。例如，和传统上对单个客户进行主要行为分析洞察相比，大数据战略能为每个客户创建一个迭代和洞察分析线程，让公司能跟踪客户并更好地维持与所有客户的长期关系。
典型的大数据分析从业人员被称为数据科学家，和常规的IT主管不同，他们更可能同时担任CMO（营销总监）。然而，IT专业人员必须明白他们公司的大数据策略对数据科学家的工作产生的影响。
这意味着需要在自动化的报告和嵌入分析之外人工添加第三方审议内容：专设和松散耦合分析。支持专设查询的分析和统计工具是必要的软件前提。许多传统IT供应商以及云供应商——如IBM、Cognos和Birst——正在扩充这些功能。
五、企业中的Hadoop
Hadoop为数据密集型应用提供“紧贴着”MapRece文件系统处理程序框架的分布式文件系统。此文件系统支持针对富文本数据的并行事务扩展，例如社交媒体数据。
许多IT公司通过在企业内创建自己的Hadoop版本来解决从Web获取Hadoop数据源的问题。然而，缺乏专业知识是一种挑战：精通这种发展中的Web数据管理框架的专业和艺术的IT管理人员犹如凤毛麟角。
组织开发他们自己的数据管理工具时应该留意，如IBM、Oracle和EMC的这些主要供应商，往往既提供专有产品用于访问Hadoop数据，也可进行定制开发，让IT公司不需要专门的数据归纳措施就能访问需要的数据。如果您决定搭建自己的数据平台，供应商也提供整合服务，使Hadoop更贴合现有IT资源来高效运作。
每个公司围绕大数据的相关决策都会有所不同。请记住，随着围绕大数据的技术演变，大数据战略也应当及时调整，与时俱进。

㈥ 那些年,对“大数据”的预言

"那些年,对“大数据”的预言

随着信息与网络技术的飞速发展，我们已经进入一个“大数据”时代。大数据驱动着科学研究进入崭新的阶段，也推进了各行各业的发展。例如，精准的天气和空气质量预测依赖于机器学习和大数据分析技术的发展;各大银行通过大数据分析客户的经济能力;公安部门通过大数据分析各地区和各种人群的犯罪率，进而提前布控进行应对等等。
如今，大数据早已不再局限于科学和经济范畴内的使用，它已经进入人类生活的各个领域，对社会的方方面面都产生着积极、有效的影响。未来，以互联网和物联网大数据以及机器学习等为基础的人工智能技术，可能会引发一场新的工业革命。
而这种以数据分析为核心的计算模式，早在十年前，由微软亚洲研究院主办的“二十一世纪的计算”国际学术研讨会就对其进行了展望和预言。在那个Wintel联盟掌握信息技术世界、诺基亚和摩托罗拉是手机行业对峙竞争双雄的年代，移动互联网仅为雏形，但2005年的
“二十一世纪的计算”大会就以“无‘数’不在的计算”为主题，将未来计算的核心锁定在了“数据”上：
l
“以数据为核心的计算”正在改变着全球数亿计算机用户的体验。个人电脑、互联网上，“数据”无处不在。任何一种应用(服务)都是将“原始数据”处理为有价值的资讯。
l
计算机从巨型机、大型机到小型机，再到个人电脑和形形色色的便携式计算设备，“以应用为核心的计算”已趋向“以数据为核心的计算”的演进。用户关心的将是“如何提取和应用数据中有用的信息”，而不是“数据背后运行着何种应用程序”。“应用”隐于后台、“数据”处在核心，“以数据为核心的计算”已是大势所趋。
l
受制于有限的数据资源和软、硬件平台的性能，“以数据为核心的计算”仅仅停留在梦想的层面。而互联网上海量的、多样化的数据资源，高性能计算机、并行计算的主流化终将令梦想成真。在可以预见的未来，基于“以数据为核心的计算”，无论是生命科学，又或是互联网搜索、高信度计算，都将取得更大的突破和令人难以想象的发展。
身处十年后的今天，回头来看这些大会结论能发现，这些都是对时下火热的大数据计算的精确预见。随着互联网尤其是移动互联网的快速发展，无论是企业机构还是个人的数据，都实现了更加直接、便捷的获取，这使得数据量变得空前庞大且与时俱增，而得益于计算机技术的不断进步，在处理和分析海量数据时的技术门槛却变得越来越低——这一现状，与十年前大会上提到的“多样化的数据资源，高性能计算机”如出一辙。
大数据分析的发展，也推动了尖端计算机技术的演进。目前炙手可热的人工智能技术，就建立在大数据分析的基础之上——此前，人工智能相关研究遭遇的最大瓶颈是，人的逻辑思考模式几乎无法复制给机器，无论是将低阶的声音、影像、气味等信号升华到认知，还是把有共性的现象抽炼成规律，都不是机器所能掌握的技能——机器学习与大数据让人工智能研究者们看到了新的希望，更大规模的数据量和更少的假设、限制可以让机器用自己擅长的方式(数据存储、挖掘、分析)“思考”和成长，从而在实用化路途上走得更快更远;与此同时，借助机器的力量，人们可以在持续激增的大数据海洋里更快地由现象抽取出规律，由规律推导出结论。人工智能和大数据的结合将会越来越紧密，不久的未来，初步拥有了看、听、连接能力的多元化设备会反过来推动人工智能研究的跃进，因为更多的数据会让机器不断发现更准确的规律和更贴近事实的因果。
当然，曾经在“二十一世纪的计算”大会上被准确预言的计算机技术前景还有很多，因此今年以“人工智能无限可能”为主题的“二十一世纪的计算”国际学术研讨会也格外令人期待。大数据和机器学习技术的发展到底还能为人工智能研究带来怎样的变化，让我们期待全球顶尖科学家们所给出的精彩“预言”吧!

以上是小编为大家分享的关于那些年,对“大数据”的预言的相关内容，更多信息可以关注环球青藤分享更多干货

㈦ 再谈大数据行业里的两大误区

再谈大数据行业里的两大误区

大数据这个词，恐怕是近两年IT界炒的最热的词汇之一了，各种论坛、会议，言必谈大数据，“大数据”这个词，在IT界已经成了某果一样的“街机”或者叫“街词”，不跟风说两句“大数据长，大数据短”都不好意思跟人说自己是搞IT的。从某种程度来讲，大数据这个“圈”太乱了，一点不比“贵圈”好。
先从概念上来说，大数据是什么？其实数据处理从人类诞生时期就有了，古人结绳记事就是基本的统计，统计自己吃了几顿饭打了几次猎等等；再往近说，皇帝每晚翻嫔妃的牌子也是数据处理，在翻牌子之前，要从一大堆牌子里分析“方便”、“热度高”、“新鲜度”等指标；更近的说，数据仓库早在大数据这个词出现前就已经成熟发展了好几十年了。所以说，大数据并不新鲜，只是某些技术如Hadoop、MR、Storm、Spark发展到一定阶段，顺应这些技术炒出来的概念，但是这些概念都基于一个基本的理念“开源”，这个理念是之前任何阶段都没有过，可以节省费用提高效率，所以大家才都往这个行业里扔火柴（话说现在很多人跟风乱吵，个人认为也不是坏事）。误区一：只有搞大数据技术开发的，才是真正“圈内人”。笔者曾经参加过若干会议，70%是偏技术的，在场的都是国内各个数据相关项目经理和技术带头人，大家讨论的话题都是在升级CDH版本的时候有什么问题，在处理Hive作业的时候哪种方式更好，在Storm、Kafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会者都一个态度：不懂大数据技术的人没资格评论大数据，您要不懂Hadoop 2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka采集就别参加这个会！对了，最近Google完全抛弃MR只用Dataflow了，您懂吗？不懂滚粗！在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人，用什么按摩手法进行全流程治疗，就不叫大数据分析了吗？技术发展到什么程度，只有一小部分是由科学家追求极致的精神驱动，大部分原因是因为业务发展到一定程度，要求技术必须做出进步才能达成目标的。所以，真正的大数据“圈内人”至少要包含以下几种人：一、业务运营人员。比如互联网的产品经理要求技术人员，必须在用户到达网站的时候就算出他今天的心情指数，而且要实现动态监测，这时候只能用Storm或者Spark来处理了；比如电信运营商要求做到实时营销，用户进入营业厅的时候，必须马上推送短信给用户，提示他本营业厅有一个特别适合他的相亲对象（呈现身高、三围、体重等指标），但是见面前要先购买4G手机；再比如病人来到银行开户，银行了解到用户最近1周曾经去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客户经理就给客户推荐相关的银行保险+理财产品。这些业务人员，往往是驱动技术进步的核心原因。二、架构师。架构师有多么重要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里讨论问题的时候，工程师往往想着用什么样的代码能马上让他闭嘴，而架构师往往会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的若干问题，按照我这个方案来，可以解决后续的若干问题！”一个非技术企业的IT系统水平，往往有70%以上的标准掌握在架构设计人员手里，尽快很多优秀的架构师都是从工程师慢慢发展学习而来的，IT架构的重要性，很多企业都意识到了，这就是很多企业有CTO和CIO两个职位，同样重要！架构之美，当IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼中，IT开发一定要架构现行，开发在后！三、投资人。老板，不用说了，老板给你吃穿，你给老板卖命，天生的基础资料提供者，老板说要有山便有了山，老板说要做实时数据处理分析，便有了Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark……四、科学家。他们是别人眼中的Geek，他们是别人眼中的高大上，他们是类似于霍金一样的神秘的早出晚归昼伏夜出的眼睛男女，他们是驱动世界技术进步的核心力量。除了世界顶级的IT公司（往往世界技术方向掌握在他们手中），其他公司一般需要1-2个科学家足以，他们是真正投身于科学的人，不要让他们去考虑业务场景，不要让他们去考虑业务流程，不要让他们去计算成本，不要让他们去考虑项目进度，他们唯一需要考虑的就是如何在某个指标上击败对手，在某个指标上提高0.1%已经让他们可以连续奋战，不眠不休，让我们都为这些科学家喝彩和欢呼吧。在中国，我认为真正的大数据科学家不超过百人……五、工程师。工程师是这样一群可爱的人，他们年轻，冲动，有理想，又被人尊称为“屌丝”“键盘党”，他们孜孜不倦的为自己的理想而拼搏，每次自己取得一点点进步的时候，都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感，自负，从来不屑于和业务人员去争论。工程师和科学家的不同点在于，工程师需要频繁改动代码，频繁测试程序，频繁上线，但是最后的系统是由若干工程师的代码组合起来的。每个自负的工程师看到系统的历史代码都会鄙视的发出一声“哼，这垃圾代码”，之后便投入到被后人继续鄙视的代码编写工作中去。六、跟风者。他们中有些是培训师，有些是杀马特洗剪吹，有些是煤老板有些是失足少女。他们的特点就是炒，和炒房者唯一不同的就是，他们不用付出金钱，他们认为只要和数据沾边就叫大数据，他们有些人甚至从来没碰过IT系统，他们是浑水摸鱼、滥竽充数的高手，他们是被前几种人鄙视的隐形人。不过我想说，欢迎来炒，一个行业炒的越凶，真正有价值的人就更能发挥自己的作用。误区二：只有大数据才能拯救世界大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP（Online Analytical System），从技术角度来说，包含我总结的两条腿：一条腿是批量数据处理（包括MR、MPP等），另一条腿实时数据流处理（Storm、内存数据库等）。在此基础上，部分场景又发现MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前非常火的基于内存数据处理Spark框架。很多企业目前的大数据框架是，一方面以Hadoop 2.0之上的Hive、Pig框架处理底层的数据加工和处理，把按照业务逻辑处理完的数据直接送入到应用数据库中；另一方面以Storm流处理引擎处理实时的数据，根据业务营销的规则触发相应的营销场景。同时，用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。以上描述可以看出，大数据说白了就是还没有进入真正的交易系统，没有在OLTP（Online Transaction system）方面做出太大的贡献。至于很多文章把大数据和物联网、泛在网、智慧城市都联系在一起，我认为大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组织架构都是重要因素。最后还想说，大数据处理技术，再炫如Google的Dataflow或成熟如Hadoop 2.0、数据仓库、Storm等，本质上都是数据加工工具，对于很多工程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进行数据加工已经足够。毕竟数据的价值70%以上是对业务应用而言的，一个炫词对于业务如果没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务发展的要求，否则技术只会妨碍业务和生产力的发展。
随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今天你可能是科学家，明天就会变成架构师，今天的工程师也会变成几年后的科学家，部分人还终将步入跟风者的行列。误区三：数据量特别大才叫大数据在“数据界”存在这样有一波人，他们认为“只有Peta级以上的才叫大数据，甚至到了Zeta以上才叫大数据，目前还没有到真正的大数据时代！”，每次听到这样的话，我就知道这些人受IOE某巨头的4V理论中的“容量”影响太巨大了。对此，我想说的第一句话是“尽信书不如无书，尽信巨头不如去IOE”，去IOE不只是要从硬件做起，还要从思想上敢于挑战巨头做起，尽管很多IT界的经典理论都是传统巨头提出的，但是随着挑战者的出现，萌发了新的思想和技术后，传统巨头会被慢慢颠覆，这也是我们人类前进向前的一个重要因素。如果我们还停留在迷信巨头的时代，如此刻板教条的去追求一个概念，那么就不会有现在的Hadoop，不会有现在的Spark，不会有现在的特斯拉，不会有机器学习人工智能，更不会有未来的第N次工业革命。首先我想强调，大数据技术真的不是一个新鲜词，在之前的文章中我已经说过，大数据的本质还是数据，数据这个行业已经发展了若干年，而数据量的规模永远是超出该时代的想象的，比如十几年前，一张软盘的数据量也就1.44M，当时的数据如果达到1T都让旁人咂舌。那么按数据量的标准，当时如果有人收集了1T数据就已经进入大数据时代了吗？显然不是！所以我想说，数据量的大小并不是衡量大数据的标准，如果按数据量去判断是否大数据的话，那么“大数据”这个词真的是一个伪命题，就如同“老虎比如是老的，小伙必须是小的，巨头必须是脑袋大的，飞人必须是长翅膀的”这种纯粹字面意思去定义的话题一样。那么再回过来说，大数据的概念是什么？首先，大数据是一个完整的生态体系，从数据的产生、采集、加工、汇总、展现、挖掘、推送等方面形成了一个闭环的价值链，并且通过每个环节的多种技术处理后，为所在业务场景提供有价值的应用和服务。其次，大数据的核心是什么？一方面是开源，一方面是节流，目前大数据技术的核心目标都是通过低成本的技术更好的满足对数据的需求（尤其是处理近年来更多的非结构化数据），并在在满足需求的基础上尽可能多的为企业节省投资。说一千道一万，大数据的核心理念还是满足应用需求，有明确目标的技术叫生产力，没有业务目标的技术叫“浪费生命力”。误区四：为了大数据而大数据这个误区我认为是目前最严重的。在部分企业中，追求技术一定要最新、最好、最炫，一定要拿到国际先进、世界一流才行。所有的企业，不分行业不分性质不分地域不分年代，一律高喊“赶超BAT，大数据助力**企业达到**目标”，接下来就是先去IOE，然后投资买集群，把之前的各种高性能小型机大型机都不用了，之前买的O记授权全部停了，之前的几十年投资一夜之间作废，又投入了更多的资源去追赶“大数据”。同学们，这种劳民伤财的事情相信大家每天都会听到或者亲眼看到，很多企业不计成本就是为了博领导一笑，这得是多么大的误区啊。对此我想说：第一，从技术上来说，比如BAT或者很多互联网企业去追求大数据，是因为业务发展的需要。任何一个互联网企业一出生就是为了流量和点击而活着，这就意味这大量的非结构化数据需要进行快速处理，这时候就决定了互联网企业只能通过一些并发手段去分解底层的数据，然后进行快速加工，并满足其服务用户和市场的需要。互联网企业的业务流程和业务模型就决定了必须得采用大数据技术。反之，很多企业根本用不着这些技术，有些企业简单的一两个Excel文件里面做几个公式就可以满足它的发展，而且数据的周期还是按月处理的，根本不需要运用这些技术。第二，从投资上来说，互联网企业出生都是平民，根本买不起大型设备，就算一夜暴富后，也没有一个传统的小型机大型机可以更好的满足它们的发展，故只能另辟蹊径创造价值链和标准了，在之前的低投资、轻量级架构上，不断进行小量的线性硬件投资满足业务的发展。反倒是一些传统企业，甚至是巨无霸，其投资计划已经在一年前明确，而且在原来的基础上投资会更有ROI（投资回报率），现在反倒为了追求大数据的口号，牺牲了之前的大量投资，除了“得不偿失”，剩下的只能是满地的节操了。大数据技术甚至任何一种技术都是为了满足特定的业务目标而生的，在具备了明确的业务目的后，顺势设计符合自身业务架构的技术架构，才是一种科学的健康的发展观。如果您是一位老板、CEO或者投资人，千万要明白，大数据技术对于企业来说，有时候像水，而企业的业务目标就是那艘船，“水能载舟，亦能覆舟”。随着生产关系的不断调整，又会出现若干轮生产力的不断进步，大数据之后的技术也会日新月异的进步着，比如现在开始潮流涌现的“机器学习、深度学习”等诸多的人工智能方面的技术，也出现了比如“小数据”、“微数据”等更细方向技术的细分，在技术的洪流到来时，只要保持清晰的以满足业务为导向的头脑，根据自身的业务需要设计自身的技术架构，就不会被各种流派，各种概念淹没。