大数据初体验

A. 大数据培训需要多长时间难不难学

一般大数据的学习方式有两种：

线下脱产学习，线上视频教学。如果是版0基础学员参加线下脱权产班学习的话，大多数培训机构都是6个月左右的周期。

大数据的学习有一定难度，对于0基础的小白来说，一定要细心、耐心，认真听课，多多练习。大数据的薪资待遇是比较可观的，目前大数据开发招聘还是以技术为主，大数据需要学习hadoop、spark、storm、超大集群调优、机器学习、并发编程等，加米谷的具体如下：

java，大数据基础：Linux基础、Maven基础

HDFS分布式文件系统

MapRece分布式计算模型+Yarn分布式资源管理器+Zookeeper分布式协调服务

Hbase分布式数据 库+Hive分布式数据仓库

FlumeNG分布式数据采集系统+Sqoop大数据迁移系统

Scala大数据黄金语言+kafka分布式总线系统

SparkCore大数据计算基石+SparkSQL数据挖掘利器+SparkStreaming流式计算平台

SparkMllib机器学习平台+SparkGraphx图计算平台

大数据项目实战

B. 《大数据》读后感字

《大数据》读后感2000字

如今，我们正处于一个大数据时代，有时候数据给了我们有力的证明。以下是、《大数据》读后感2000字，欢迎阅览!

《大数据》读后感2000字【1】

这两年，大数据，云计算的思想就像小苹果的音乐一样，传的到处都是，每一个公司不管是互联网公司还是传统企业，都标榜自己的大数据。

1、实体物联网与虚拟物联网

曾几何时，物联网的概念闹得风生水起，庞大的物联网能够让世间大量的物体，都能够被检测 并联网，包括了人、车、房等一切能够被联网的物体，这些物体都能够以种方式被感知他的存在，并对其信息记录在案，以供使用。在若干年前，这还是一种看似遥不可及的事物，要对每个物体都贴上一个所谓的RFID的标签，显得不切实际。如今，随着手机的大量使用，人类本身也被加入了物联网中。为什么要物联网?是为了获取什么?要知道物联网获取了什么，只需要看看在一个物体在没有加入物联网与加入物联网之后，我们多出了哪些东西便能够知晓。那么，很明显，我们需要通过某种方式来获取该物体的信息，这种存储下来的信息，就叫做——数据。

物联网产生的数据是实体的物品之间的信息，而现在的互联网上，占最大数据量的，是虚拟物品，或者叫做网络虚拟物品。由于网络物体是直接寄生于网络，具有能够方便的接入网络的特征，因此，在获取实体物体信息还有一定难度的时期，占有很大优势。但今后实体的物联网产生的数据量一定会不断增加，或许，能够超越网络上的物物相连数据量。

网络的广泛使用，使得信息的产生于传遍变得容易，每个接入网络的人都以一定的角色存在，都是网络的信息的创造者。对于所产生的信息而言，每个接入网络的人又身兼多角，对于网络服务商，他是网络使用者的角色;对于门户网站而言，他是使用的用户;对于社交网站而言，我们则扮演一个虚拟或者真实的网络角色;对于浏览器而言，他是一系列的浏览网页、一些列鼠标动作的角色… 不同的角色取决于对方需要从我们的行为中获取哪些信息。将网络上各种角色看成是虚拟的物体，那么，这种虚拟物体构成的虚拟物联网便产生了巨大的数据量。经历过一直以来缺乏信息获取渠道的日子，现在，既然信息获取变得如此容易，那么，必然迎来信息量暴增的时代——大数据时代。

2、思维的转变

技术的改变，使得我们思维方式也要随之发生变化。在过去的小数据时代，由于获取信息、存储信息、整理信息都是费时费力的活，我们只能精打细算，捉摸着如何以最小的代价、最快的方式来收集尽可能准确的信息。之所以会有抽样统计的方式，是受技术所限，无法获得全体的样本，或者就算获取了也无法在合理的时间内进行处理。由于信息获取代价大，使得我们不得不在获取信息前，就把一切都想清楚，才能够着手处理。这就像在计算机出现的初期，使用纸袋来编码的时期，一次出错的代价太大，所以人们不得不在输入前将代码验证过无数遍之后才敢输入到机器中。而现代计算机让编码的效率大大提升，这才使得人们能够创造出更加强大的软件。人们不需要在着手编码前就对代码过分深思熟虑，因为机器会帮助你解决一些问题。因此，那些担心由于获取数据太方便，进行数据处理、分析代价太小而使人们变得懒惰或者做事欠考虑的家伙，真是杞人忧天。历史上，技术的进步都会提升人类的生产力，但却没有让人们变得懒惰，因为与此同时，欲望也随之增长。人类只会变得更伟大。

因此，大数据时代，这个数据更加全面的时代，我们可以涉足一些之前由于缺乏数据而无法涉及的领域，例如——预测。这是一个令人兴奋的领域，但其实这个领域早有苗头，而且大家都是受益者。我们平时使用的输入法中的智能联想功能，能够根据我们之前输入的文字，来预测我们接下来有可能输入的文字，以节省我们的输入时间。这种算法里，没有人工智能，而只有人们大量的输入习惯的统计，通过大量数据的统计来预测，是一个统计学的方式而非加入了特有的规则或者逻辑。这便引出了在大数据时代，对于信息处理的一种重要方式，基于统计，得出不同个体的相关关系，却无需了解其因果关系，而我们则受益于相关关系。这种方式，看似有些投机取巧，却能够在关键时刻令我们处于优势地位。我们已经习惯了先知道某些事物的因果逻辑，继而推断出相应的结果。但世间总会有一些令人无法用合理的逻辑进行解释的现象，若通过大数据分析，我们能够跳过逻辑阶段直接享用某些一些结果(沃尔玛的啤酒加尿布案例)，岂不乐哉。当然，严密的逻辑永远是值得尊敬的。

3、互联网的黏性

在经历过了从广度上通过新花样来吸引用户的时代，由于技术的提高，一个创业者在一个新的领域开辟的东西很容易被其他人所复制。在这个时候，深度很重要。特别是购物网站、微薄、门户网站这类信息量大的网站，越是了解一个用户，优势就越大。所以，在技术已经不是最重要的因素的时代，如何增加用户的黏性、忠诚度便是首要的。通过用户之前的信息，来推测用户的喜好，给用户推荐相应的信息或物品。当你越了解一个用户，而别人却不了解时，这个用户就越离不开你。微薄中有他的`智能排序功能、新闻门户中有“今日头条”应用，各类购物网站有他的推荐算法(但这个纯粹为了增加消费而非增加用户黏性)，都能够根据用户之前的浏览、偏好来给出相应的推荐。这些的基础，都是拥有用户的行为记录，否则，都无从谈起。

各行各业，都在疯狂的抓紧时机，获取数据，拥有足量的数据，那一切就变得皆有可能。

《大数据》读后感2000字【2】

凡是过去，皆为序曲是大数据业者最喜欢引用的语句。大数据是现在的潮流，大数据时代被认为是了解大数据的初级读物。近期连续读了两遍，第二遍是为了写这篇读后感，总体而言，值得一看，但细节方面却需要讨论了。

维基网络对大数据的解释：Big data，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

有人说现在是读图时代，除去小说、心灵鸡汤以外，现在的畅销书基本都有图片，这本书是一个特例

首先尝试解析一下作者的三大观点，这三大观点是大数据业者很喜欢引用的三句话：

1 不是随机样本，而是全体数据

我想所有人都能意识到对全体数据的分析优于对随机样本的分析，但在现实中我们经常拿不到全体数据：一是数据的收集方法，每一种方法都有适用的范围，不太可能包罗万象;二是数据分析的角度，战斗机只能统计到飞回来的飞机上的弹孔，而坠毁的则无法统计，沃德通过分析飞回来的战斗机得出来最易导致坠毁的薄弱点;三是处理能力跟不上，就像以前的天气预报太离谱是因为来不及算那些数据。“采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物”，作者显然只关注了一部分原因。

从语言的理解上看，什么是全体数据，究竟是“我们需要的所有数据”，还是“我们能收集到的所有数据”，书中的很多商业案例中，处理的只是“我们能收集到的所有数据”，或者说是“我们认为的全体数据”。人对自然的认识总是有限的，存在主义认为世界没有终极的目标。书中举例“Farecast使用了每一条航线整整一年的价格数据来进行预测”，而“整整一年”就是一个采样，或者是“我们需要的所有数据”。

从历史的角度看，国外的托勒密建亚历山大图书馆唯一的目的是“收集全世界的书”，实现“世界知识总汇”的梦想，国内的乾隆汇编四库全书，每个收集的过程都有主观因素在里面，而他们当时都认为可以收集全部的书籍，到最后，我们也没有得到那个梦中的全体。

2 不是精确性，而是混杂性

既然我们过去总是在抽样，那本身就是在一个置信水平下，有明确的容错度或者是偏差值。人类永远知道我们是在精确性受限的条件下工作。同时，作者本身也承认 “错误并不是大数据固有的特性，而是一个亟需我们去处理的现实问题，并且有可能长期存在”。那大数据的特征究竟是精确性还是混杂性?

由此衍生出一个问题，大数据的品质如何控制：一、本身就不要求精确，但是不精确到何种程度是需要定义的，否则就乱套了，换个角度，如果定义了容错度，那符合条件的都是精确的(或者说我这句话还是停留在小数据时代?这里的逻辑我没有理顺)。就像品质管理大师克劳斯比提出过零缺陷理论，我一直觉得是一个伪命题，缺陷是一定存在的，就看如何界定了;二、大量非结构化数据的处理，譬如说对新闻的量化、情感的分析，目前对非SQL的应用还有巨大的进步空间。

“一个东西要出故障，不会是瞬间的，而是慢慢地出问题的”。“通过找出一个关联物并监控它，我们就能预测未来”。这句话当然是很认同，但不意味着我们可以放弃精确性，只是说我们需要重新定义精确度。之于项目管理行业，如果一个项目出了严重的问题，我们相信，肯定是很多因素和过程环节中出了问题，我们也失去了很多次挽救的机会。而我们一味的容忍混杂性的话，结果显然是不能接受的。

3 不是因果关系，而是相关关系

这是本书对大数据理论的最大的贡献，也是最受争议的地方。连译者都有点看不下去了。

相关关系我实在是太熟了，打小就学的算命就是典型的“不是因果关系，而是相关关系”。算命其实是对趋向性的总结，在给定条件下，告诉你需要远离什么，接近什么，但不会告诉你为什么那样做。

我们很多时候都在说科学，然而，什么是科学，没有人能讲清楚。我对科学的认识是：一、有一个明确的范围;二、在这个范围内树立一个强制正确的公理;三、有明确的推演过程;四 可以复制。科学的霸道体现在把一切不符合这四个条件的事物都斥为伪科学、封建迷信，而把自己的错误都用不符合前两条来否决。从这个定义来看，大数据不符合科学。

混沌学理论中的蝴蝶效应主要关注相关关系。它是指对初始条件敏感性的一种依赖现象，输入端微小的差别会迅速放大到输出端，但能输出什么，谁也不知道。

人类一旦放弃了对因果关系的追求，也就放弃了自身最优秀的品质：意志力。很多人不愿意相信算命是担心一旦知道了命运，就无法再去奋斗。即使我相信算命，也在探求相关关系中的因果要素。我放弃第一份工作的原因之一是厌倦了如此确定的明天：一个任务发出去，大概能预测到哪些环节会出问题，只要不去 follow，这些环节十有八九会出问题。

解析完这三大观点，下面是我对大数据理论的一些疑惑。大数据是目前风行的反馈经济中的重要一环，在金融、互联网行业的应用最为广泛，而这些行业都是大家所认为的高薪领域。很多时候我就在想，所谓无形的手所产生的趋势究竟是不是无形的。比如几家公司强推一个概念，说这是趋势，不久就真的变成趋势了。我们身边活生生的例子就是天猫的双十一和京东的618，一个巨头开路，无数人跟风，自然就生造出购物节，至于合理不合理，追究的意义也不大，因为很多事情是没有可比性的。这和没有强制控制中心的蜂群思维又不一样。

看完这本书，总是觉得作者说的过于绝对，也许是我的认识太浅了吧，所以最后用法演四戒做总结：

势不可以使尽，使尽则祸必至

福不可以受尽，受尽则缘必孤

话不可以说尽，说尽则人必易

规矩不可行尽，行尽则事必繁

C. 大数据常用同步工具

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，操作简单通常只需要两步；

创建作业的配置文件（json格式配置reader,writer）；

启动执行配置作业。

非常适合离线数据，增量数据可以使用一些编码的方式实现，

缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。

参考资料：

github地址：https://github.com/alibaba/DataX

dataX3.0介绍：https://www.jianshu.com/p/65c440f9bce1

datax初体验：https://www.imooc.com/article/15640

文档：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

地址：http://sqoop.apache.org/

Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。

Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。

NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。

NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。

几个核心概念：

Nifi 的设计理念接近于基于流的编程 Flow Based Programming。

FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性

FlowFile Processor（处理器）：负责实际对数据流执行工作

Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区

Flow Controller（流量控制器）：管理进程使用的线程及其分配

Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件

参考资料

Nifi简介及核心概念整理

官方网站：http://nifi.apache.org/index.html

二、实时数据同步

实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter

canal

https://github.com/alibaba/canal

数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务：

数据库镜像

数据库实时备份

多级索引 (卖家和买家各自分库索引)

search build

业务cache刷新

价格变化等重要业务消息

otter

https://github.com/alibaba/otter

otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。

另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。

D. 大数据的优势

毫无疑问，各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中，几乎所有行业都或多或少的受到这 巨变的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来说，软件和自动化是较基本的术语，并且用于处理循环的每个阶段。

大数据时代”带来对人们的关键性的考验是如何在爆炸的信息中处理数据，新的数据产生是个很自然的过程，但“处理”是很关键的。目前大数据解决信息量爆炸的情况下很多一是数据量大，二是非结构性比较多，像微博、微信是非结构性的。

相较于稳定性而言，企业更关心的是敏捷性和创新性，通过大数据技术，可以帮助公司及时实现这 愿望。大数据分析不仅使企业能够跟随瞬息万变的潮流而不断更新，而且还具有预测未来发展趋势的能力，使企业占据有竞争力的优势。

大数据席卷了 ，并带来了惊人的利益，这 力量无需多说。大数据使IBM、亚马逊等 公司受益，这些公司通过利用大数据开发 些前沿的技术，为客户提供高端服务。

“采用大数据，云计算和移动战略的企业发展状况超过没有采用这些技术的同行53%。”——《福布斯》

在戴尔开展的 项调查中显示，采用大数据、云计算以及移动战略的企业中，优势更加明显，也就是，这些企业中有53%采用大数据起步较晚或者尚未采用，在这 结果令人惊讶不已。

虽然大数据尚处于初 阶段，但通过在处理过程中，融合这 理念，将为企业赢得50%的利润。显然，在如今的商业中，大数据显现的惊人优势并不亚于石油或煤炭带来的利益。 

掌握数据能力，开采“暗数据”

著名的咨询公司Gartner公司对暗数据的定义是“组织在正常业务活动过程中收集、处理和存储的信息资产，通常不能用于其他目的”。

然而，大数据系统的出现使得这些公司能够将尚未开拓的数据投入使用，并从中提取有意义的信息。过去没有被认可或认为毫无用处的数据突然成为公司的财富，这 点令人惊讶不已。通过大数据分析，这些公司可以加快流程，从而降低运营成本。 

软件正在吞噬整个 数据争夺战正在打响

我们目前处于数据驱动型经济中，如果无法分析当前或未来的趋势，任何组织都无法生存下去。抢夺数据已经成为决定下 步行动方案的关键。

客户逐渐成为所有组织的焦点，对于及时满足客户的需求这 任务非常迫切。只有在强大的软件支持下，业务战略才有可能会支撑和加速业务运营。这较终促成了强大的大数据技术的需求，可以以许多方式使组织受益。

决策指导 更智能更快速更精准

在这个激烈的竞争时代，人人都想脱颖而出。但问题是如何实现这 期望 虽然公司与竞争对手持有相同的运营模式，但公司应当如何展现其独 无二 答案在于公司采用的策略。为了表现优于竞争对手，做出良好和智慧决策的能力在每 步中发挥关键作用。这些决定不仅应该是好的决定，而且应该尽可能做出又快又明智的决定，使公司能够在积好的主动出击。

将大数据分析纳入流程的做法揭示了非结构化数据，从而有助于管理者以系统的方式分析其决策，并在需要时采取替代方法。 

以用户为 用户行为数据是营销关键

现在客户有机会随时随地购物，在相关信息帮助下，对于公司需要做出比之前更敏捷的反应这 要求而言具有更大的挑战。但是公司将如何不断地实现这 点呢 答案是借助“大数据”。客户动向是不断变化的，因此营销人员的策略也应该做出相应调整。通过整合过去和实时数据来评估客户的品味和喜好，这样可以使公司采取更快捷的应对措施。

例如，亚马逊通过利用强大的大数据引擎的能力，从 个以产品为基础的公司发展成为囊括1.52亿客户在内的大型市场参与者。亚马逊旨在通过跟踪客户的购买趋势，并为营销人员提供他们即时需要的所有相关信息，从而来为客户服务。此外，亚马逊通过实时监控 15亿种产品，成功满足了客户的需求。

通过数据仓库使数据资产变现

这些公司越来越大，因此不同的流程产生不同的数据。资料仓储中的许多重要信息仍然无法访问。然而，公司已经能够使用大数据分析这 武器来挖掘这座大山，让分析师和工程师深入研究，并提供新颖而又有意义的见解。

经过这番分析，有 件事值得肯定的是，这是 个高度数字化和技术驱动时代的开端，并伴随着强大的实时大数据分析能力。

更多营销方式

E. 前端学什么

HTML，抄CSS，Java这三样真的很重要！HTML写出基础页面，CSS将HTML静态页面从黑白色过渡到五颜六色，然后java可以让枯燥的静态文字变成可以交互的内容。框架再怎么更新迭代，最基础的东西还是这三样.

掌握了HTML+CSS+Java后，成功打开了前端的大门。接下来就是进阶部分，从js进阶到jquery-，jQuery就是java的一个库，把常用的一些功能进行了封装，方便来调用，提高开发效率，同时极大地简化了 Java 编程。

(5)大数据初体验扩展阅读：

前端的开发中，在页面的布局时，HTML将元素进行定义，CSS对展示的元素进行定位，再通过JavaScript实现相应的效果和交互。

然后再到angular-一种更加灵活、强大的数据绑定、html扩展的js库；然后到ajax、json、xml，可以和后台进行协同开发的技能。

学会这些东西之后，就能完成时下流行的各种PC端网页特效、前后端交互，在通往前端的路上往前迈上了坚实的一大步。