我们的大数据时代2017

1. 大数据时代,大数据概念,大数据分析是什么意思

大数据概念就是指大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据时代是IT行业术语。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值（Value）。

(1)我们的大数据时代2017扩展阅读：

大数据分析的实例应用：

数据分析成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐，大数据也在全力演绎世界杯背后的分析故事。

一向以严谨著称的德国队引入专门处理大数据的足球解决方案，进行比赛数据分析，优化球队配置，并通过分析对手数据找到比赛的“制敌”方式；谷歌、微软、Opta等通过大数据分析预测赛果...... 大数据，不仅成为赛场上的“第12人”，也在某种程度上充当了世界杯的"预言帝"。

大数据分析邂逅世界杯，是大数据时代的必然发生，而大数据分析也将在未来改变我们生活的方方面面。

2. 现在我们都在大数据时代，那么什么是大数据时代

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。
大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。
大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。
大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多，感兴趣的话可以访问FineBI商业智能大数据官网了解。
大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

3. 2017年大数据产业将迎来哪些变化

2017年大数据的变化个人认为将主要在如下几点：
1.物联网(IoT)
公司日益期望从所有数据中获得价值，企业组织将不得不改动技术，以便与物联网数据衔接起来。这在数据治理、标准、健康保障、安全和供应链等方面带来了无数新的挑战和机遇。
物联网和大数据是同一枚硬币的两面，数十亿与互联网连接的“物件”将生产大量数据。然而，这本身不会引发另一场工业革命，不会改变日常的数字化生活，也不会提供拯救地球的预警系统。来自设备外部的数据才是企业让自己与众不同的方面，结合上下文来捕获和分析这种类型的数据为公司带来了新的发展前途。
2.深度学习
深度学习主要用于从大量未标记/未监督的数据当中学习，因而对于从大数据中提取有意义的标识和模式颇具吸引力。比如说，它可以用来识别许多不同类型的数据，比如视频中的形状、颜色和对象，或者甚至是图像中的猫，就像谷歌研制的一个神经网络在2012年所做的那样。因此，企业可能会看到更多的注意力投向半监督式或未监督式训练算法来处理进入的大量数据。
3.内存中分析
不像常规的商业智能(BI)软件对存储在服务器硬盘上的数据运行查询，内存中技术查询的是载入到内存中的信息，这可以通过减少或甚至消除磁盘输入/输出瓶颈来显著提升分析性能。就大数据而言，正是由于TB级系统和大规模并行处理，让内存中分析技术更令人关注。
在现阶段，大数据分析的核心其实是发现数据。要是没有毫秒级延迟，面对数百万次/数十亿次的迭代，运行迭代以查找数据点之间的关联就不会成为现实。在内存中处理的速度比磁盘上处理要快三个数量级。
4.云计算
混合云和公共云服务越来越受欢迎。大数据成功的关键是在弹性基础设施上运行(Hadoop)平台。我们会看到数据存储和分析趋于融合，带来新的更智能的存储系统，它们将经过优化，用于存储、管理和排序庞大的PB级数据集。展望未来，我们可以预计会看到基于云的大数据生态系统将继续迎来发展，不仅仅局限于“早期采用者”。
5.Apache Spark
Apache Spark在点亮大数据。流行的Apache Spark项目提供了Spark Streaming技术，通过主要采用一种在内存中微批量处理的方法，近实时地处理数据流。它已从Hadoop生态系统的一部分，变成许多企业青睐的一种大数据平台。

4. 大数据时代网络安全进入产业爆发期

大数据时代网络安全进入产业爆发期
2017年中国云市场竞争中，“1分中标”、“1元中标”案例已经不新鲜，在竞争白热化的云计算市场中，第一部网络安全相关法律的出台，再次搅动业界神经，安全成为各大云服务厂商标榜的核心竞争力。以近日菜鸟和顺丰的争议为例，数据安全、云市场争夺都被成为各执一词的缘由。
21世纪经济报道记者近日采访包括阿里云在内的云服务公司以及网络安全领域的创业者和专家，解读云服务市场的安全竞争。其中阿里云总裁胡晓明一一回应跟阿里云相关的竞争和安全问题。他表示，“根本不存在（阿里云）与腾讯云争夺顺丰一事，另外如果阿里云做侵犯用户隐私的事情，那应该倒闭。”
阿里云回应“不安全”
6月1日，《网络安全法》实施第一天，顺丰和菜鸟陷入数据之争，在数据资源方面互不让步，双方皆以保护用户数据隐私安全的名义指责对方。卷入这场“罗生门”的，还有顺丰和菜鸟各执一词的“云市场”争夺，即腾讯云和阿里云的的云服务市场竞争。
在这场风波中，关于安全的讨论争议也很多。
近日，胡晓明在上海接受21世纪经济报道记者采访时回应菜鸟顺丰之争。“顺丰早就是我们的客户了，我也没有提要跟顺丰进一步加大云计算的合作，我们都没有找过对方。”胡晓明说。
他表示，一方面不存在与腾讯云争夺顺丰一事，另外一方面从技术角度也不可能实现通过用户IP地址获取用户核心数据的可能。
在接受采访的一个小时时间里，胡晓明约有一半时间在谈安全、回应与安全相关的质疑。据介绍，阿里云平台上承载了大概37%的中国网站业务，阿里云平均每天承受的攻击是16亿次。
据胡晓明介绍，阿里云有严格的内部审计制度。阿里云工程师进行任何运维管理操作时，都会有内部审计和实时违规预警。所有工程师都需要双因素认证来完成操作人的身份验证。此外，还通过定期的安全扫描和模拟渗透，来确保数据安全的内部控制有效、完整性。
“为什么我们今天特别欢迎网络安全法的正式实施？就像交通法规定的红绿灯一样，交通规则越严格越好。”阿里云的另一位负责人补充说，这个也是整个云计算产业发展的前提。
网络安全产业爆发期
从5月份的勒索病毒事件，再到6月的菜鸟顺丰事件，叠加《网络安全法》的落地，网络安全的概念被热炒到了新高度。
法律对于网络运营者的管理责任作了较为明确的规定，《网络安全法》规定了网络安全等级保护制度，而网络运营者则应根据网络安全等级保护制度的要求，履行安全保护义务，保障网络免受干扰、破坏或入侵，防止数据泄露或被窃取或篡改。
6月13日，21世纪经济报道记者在2017中国网络安全大会采访十余家参会网络安全公司，其中瑞星安全的一位负责人告诉21世纪经济报道记者，近期咨询业务的客户明显增加，行业向好。
北京另一家做云安全服务的创业公司人士表示，国外的网络安全市场相对成熟，中国相当于刚刚做完基础设施建设，对安全的需求正处于爆发的上升期，产业也在爆发期。他们公司2015年创立，现在基本能做到盈亏平衡，比较难得。
据介绍，他们的客户主要是政府的政务云平台和金融机构，客户的安全意识还是比较强的，特别是《网络安全法》出台后，对一些网络数据管理运营平台担负的责任进一步清晰，大家也不得不重视起来。
某信息安全众包服务电商平台的CEO陈新龙表示，网络安全元年，应该从2017年《网络安全法》的实施开始。
根据国家互联网应急中心数据显示，2016年1月至11月，中国境内被篡改网站数量总数达到62894个，其中被篡改政府网站数量达到1483个。已收集到的信息系统安全漏洞达9756个，其中高危漏洞3764个，占比为38.6%。
又一份IDC 报告数据显示，截至 2014 年底，中国信息安全投资的比例依然不足 1%，和美国（3.6%）及日本（6%）等成熟市场差距明显，中国网络安全市场还有很大的释放空间。
陈新龙告诉21世纪经济报道记者，2017年他所创立的安全服务平台，新入驻的网络安全厂商增长迅速。
此前，工信部电子科学技术情报研究所总工程师尹丽波在接受21世纪经济报道记者采访时也表示，目前政府的意识很强，包括工信部和网信办，这些年都在对政府部门在做安全培训和检查，提升网络安全意识，普及网络安全技能和知识。在保护安全方面，大部分政府部门都已经行动起来。但企业这块还有很大的空间，特别是中小企业，信息化程度很低，更别说网络安全措施。所以海量的中小企业，可能会是将来网络安全产业的巨大目标群体。

5. 大数据的发展所面临的挑战有哪些

挑战一：业务来部门没有清晰的大自数据需求。

挑战二：企业内部数据孤岛严重。

挑战三：数据可用性低，数据质量差。

挑战四：数据相关管理技术和架构。

挑战五：数据安全。

6. 大数据时代带来哪些变化和影响

【导读】许多人对大数据都不了解，但其实大数据离我们的生活很近，现如今大数据应用到教育、医疗等生活的许多方面，为我们的生活提供了便利，也带来了改变。那么，大数据时代带来哪些变化和影响呢?今天就跟随小编一起来了解下吧!

一、思维方式改变
所谓思维方式，是一种习惯性的思考问题和处理问题的模式，并由此对我们的行为方式产生直接的影响。然而，如今大数据正影响着我们的思维方式。随着网络、腾讯、淘宝等网络公司的迅速崛起以及他们的迅速致富，数据致富成了新的致富神话。先前那些房地产、电器大亨费了九牛二虎之力才取得的亿万财富，而这些网络数据商则在短短的几年时间就迅速超越了这些实体公司的财富，并且所费人力、物力和财力甚少。
二、教育的改变
传统的学校教育模式映射了工业化集中物流批量生产的模式：铃声、标准化的课堂、统一的教材、统一的服装等。虽然这种教育也培养出了很多人才，然而大数据教育将呈现另外的特征，例如弹性学习、个性化辅导等。学习分析是近年来大数据在教育领域较为典型的应用，利用松散耦合的数据收集工具和分析技术，研究并分析学生学习参与、学习表现和学习过程的相关数据，进而对课程、教学进行实时修正并预测学习者未来的学习趋势。
三、经济的改变
虽然我们在政治课上学到的是，生产决定消费，消费对生产有重要的反作用力。然而我认为，在如今这个极为宣扬个性与创造力的社会中，消费很大程度地决定着生产。消费者不认同的，就卖不出去，只有消费者认同的，才卖得出去。然而，大数据可以在较短的时间内，通过对数据的全面感知、筛选、收集、分析、共享等为生产者提供可靠的、及时的信息，让生产者生产出更为畅销、更具个性化的物品。
以上就是小编今天给大家整理分享关于“大数据时代带来哪些变化和影响?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。

7. 大数据时代

大数据是什么？是一种运营模式，是一种能力，还是一种技术，或是一种数据集合的统称？今天我们所说的“大数据”和过去传统意义上的“数据”的区别又在哪里？大数据的来源又有哪些？等等。当然，我不是专家学者，我无法给出一个权威的，让所有人信服的定义，以下所谈只是我根据自己的理解进行小结归纳，只求表达出我个人的理解，并不求全面权威。先从“大数据”与“数据”的区别说起吧，过去我们说的“数据”很大程度上是指“数字”，如我们所说的客户量，业务量，营业收入额，利润额等等，都是一个个数字或者是可以进行编码的简单文本，这些数据分析起来相对简单，过去传统的数据解决方案（如数据库或商业智能技术）就能轻松应对；而今天我们所说的“大数据”则不单纯指“数字”，可能还包括“文本，图片，音频，视频……”等多种格式，其涵括的内容十分丰富，如我们的博客，微博，轻博客，我们的音频视频分享，我们的通话录音，我们位置信息，我们的点评信息，我们的交易信息，互动信息等等，包罗万象。用正规的语句来概括就是，“数据”是结构化的，而“大数据”则包括了“结构化数据”“半结构化数据”和“非结构化数据”。关于“结构化”“半结构化”“非结构化”可能从字面上比较难理解，在此我试着用我的语言看能否形象点地表达出来：由于数据是结构化的，数据分析可以遵循一定现有规律的，如通过简单的线性相关，数据分析可以大致预测下个月的营业收入额；而大数据是半结构化和非结构化的，其在分析过程中遵循的规律则是未知的，它通过综合方方面面的信息进行模拟，它以分析形式评估证据，假设应答结果，并计算每种可能性的可信度，通过大数据分析我们可以准确找到下一个市场热点。 基于此，或许我们可以给“大数据”这样一个定义，“大数据”指的是收集和分析大量信息的能力，而这些信息涉及到人类生活的方方面面，目的在于从复杂的数据里找到过去不容易昭示的规律。相比“数据”，“大数据”有两个明显的特征：第一，上文已经提到，数据的属性是包括结构化、非结构化和半结构化数据；第二，数据之间频繁产生交互，大规模进行数据分析，并实时与业务结合进行数据挖掘。解决了大数据是什么，接下来还有一个问题，大数据的来源有哪些？或者这个问题这样来表达会更清晰“大数据的数据来源有哪些？”对于企业而言，大数据的数据来源主要有两部分，一部分来自于企业内部自身的信息系统中产生的运营数据，这些数据大多是标准化、结构化的。（若继续细化，企业内部信息系统又可分两类，一类是“基干类系统”，用来提高人事、财会处理、接发订单等日常业务的效率；另一类是“信息类系统”，用于支持经营战略、开展市场分析、开拓客户等。）传统的商业智能系统中所用到的数据基本上数据该部分。而另外一部分则来自于外部，包括广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。这些非结构化数据由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成，其产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。具体包括了：如，呼叫详细记录、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。由于来源不同，类型不同的数据透视的是同一个事物的不同的方面，以消费客户为例，消费记录信息能透视客户的消费能力，消费频率，消费兴趣点等，渠道信息能透视客户的渠道偏好，消费支付信息能透视客户的支付渠道情况，还有很多，如，客户会否在社交网站上分享消费情况，消费前后有否在搜索引擎上搜索过相关的关键词等等，这些信息（或说数据）从不同的方面表达了客户的消费过程的方方面面。因此，一般来说，企业用以分析的数据来源越广越全面，其分析的结果就越立体，越接近于真实。因此，大数据分析意味着企业能够从不同来源的数据中获取新的洞察力，并将其与企业业务体系的各个细节相融合，以助力企业在创新或者市场拓展上有所突破。针对“数据量”这个话题，亚马逊CTO Vogels曾经说过，“在运用大数据时，你会发现数据越大，结果越好。为什么有的企业在商业上不断犯错？那是因为他们没有足够的数据对运营和决策提供支持。一旦进入大数据的世界，企业的手中将握有无限可能。”可以预料，在不远的未来，企业如何通过抓住用户获取源源不断的数据资产将会是一个新的兵家必争之地。在这个层面上，Facebook、Twitter、Google、Amazon，包括电信运营商等领先企业具有无可比拟的优势。在大数据的领域里是否数据量越大越好？很多时候我们写文章，并不是想要去重复某一个众所周知的事实，而更多的是想从另外一个角度试图去质疑那些已成事实的事实，并不是想要去推翻，而只是去看这个事实是否存在另外的可能性，虽然很多时候我的那些质疑会漏洞百出，并显得幼稚可笑，但我觉得一个事物的健康发展需要不同的声音，而这正是我们写文章的意义所在。所以，我现在问题是，在大数据的领域里是否数据量越大越好？对于这个问题，我觉得应该分两个层面来看，第一个层面是，对大数据这个整体而言，数据肯定是越大越好的，多元的数据能让不同行业，不同组织都可以从大数据中寻找到解决问题的方法，也是基于此，现在越来越多的企业组织通过不同的终端、应用或者其他手段去疯狂地收集多元的数据，大数据让人们能有足够的能力和视野将地球（包括地球上的一切）作为一个整体去看待，这是在从前无法想象的。第二个层面是，对于大数据的具体应用而言，数据量是否越大越好，我却有不同的看法。我的理解是，在大数据的实际应用中你用以分析的数据量越大，你能得到的东西就越多，而至于得到的那些东西是否是你所需要的，或者对你是否有价值的，没有人能保证。就如同树林里有100条路，每条路上都有一些你觉得有意思的东西，如果你有足够的时间，你可以走遍这100条路，收获很多有意思的小东西，但不是每一条路都会让你得到真正有价值的东西。经常做数据分析的朋友应该会有同感，在分析的过程中你会发现不同的数据通过不同的组合导入不同的分析模型会得到很多不同的结果，有时候会有一些很新鲜的结果被发现，这会让你很惊喜，但大部分这些新鲜的结果最后只会出现在你的微博里，而不会出现在正式的分析报告中，因为分析报告是为解决某一具体问题而存在的，旁枝末节太多会显得臃肿且容易混淆。所以，我认为，在大数据的具体应用面前，我们先要做的是把“大数据”这个概念忘掉，我们必须弄清楚到底想从大数据中得到什么，然后带着目的去收集有用的数据，输入至分析模型中，直接导向我们想要的结果。否则你将花费大量时间、资源成本去获取数据，分析数据。我们需要大数据应用是能够帮助解决问题的行为洞察，而不是试图研究每一条能够得到的信息。不得不说，大数据的世界太魔幻了，里面的诱惑很多，如果你不是带着明确的目标去应用，你很有可能被陷入在五光十色的诱惑中无法自拔。即使你走进了一座金山，最后你能带走的最多也只是你能提动的一小口袋。另外，这同时也揭示，为了避免应用者困在“大数据的金山”，大数据必须往下细化，针对不同行业不同领域的特定问题制定不同的解决工具，未来大数据将会遵循消费化模式，核心基础设施将作为服务或应用程序来提供。

8. 什么是大数据时代

大数据时代

（巨量资料（IT行业术语））
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施

产生背景
编辑

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”[2]

影响
编辑

大数据
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[3]
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……[1]
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。[5] 每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。[5]

大数据的精髓
大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]
A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);
B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

数据价值
大数据时代，什么最贵?
十年前，葛大爷曾说过，“21世纪什么最贵?”——“人才”，深以为然。只是，十年后的今天，大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。[7]
一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
●1、华尔街根据民众情绪抛售股票；
●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
●3、银行根据求职网站的岗位数量，推断就业率；
●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。[1]

可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时，成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会有接近上帝俯视人间星火的感觉？”
这个问题我曾请教过刘建国，中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道，刘建国曾任至网络的首席技术官，在这样一家每天需应对网民各种搜索请求1.7亿次（2013年约为8.77亿次）的网站中，如果只是在后台静静端坐，可能片刻都不能安心吧。网络果然在提供搜索服务之外，逐渐增添了网络指数，后又建立了基于网民搜索数据的重要产品“贴吧”及网络统计产品等。
刘建国没有直接回答这个问题，他想了很久，似乎陷入了回忆，嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。
在数据可视化呈现方面，我最新接收到的故事是，一位在美国思科物流部门工作的朋友，很聪明的印度裔小伙子，被Facebook高价挖角，进入其数据研究小组。他后来惊讶地发现，里面全是来自物流企业、供应链方面的技术人员和专家，“Facebook想知道，能不能用物流的角度和流程的方式，分析用户的路径和行为。”

特征
编辑
数据量大（Volume）
第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
速度快、时效高（Velocity）
第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]

案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：
1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。
IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”
在国内，网络已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。
事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。[1-2]

提供依据
编辑
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。
事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

应对措施
编辑
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面六个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapRece，NoSQL等技术都是2013年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。
望采纳，谢谢