大数据预测被打脸

㈠ 介绍有关计算机的一种前端技术

大数据基础概念

“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”——马云卸任演讲

本文尝试从三大产业的角度将大数据的核心商业价值分类讨论。
首先例举一些大数据的典型应用，然后解释大数据的定义，最后总结大数据的价值。

我们知道：
第一次工业革命以煤炭为基础，蒸汽机和印刷术为标志，
第二次工业革命以石油为基础，内燃机和电信技术为标志，
第三次工业革命以核能基础，互联网技术为标志，
第四次工业革命以可再生能源为基础，_________为标志。
空白处你会填上什么？欢迎大家讨论。但是目前可以预测的是，数据和内容作为互联网的核心，不论是传统行业还是新型行业，谁率先与互联网融合成功，能够从大数据的金矿中发现暗藏的规律，就能够抢占先机，成为技术改革的标志。

一、大数据的应用
大数据挖掘商业价值的方法主要分为四种：
客户群体细分，然后为每个群体量定制特别的服务。
模拟现实环境，发掘新的需求同时提高投资的回报率。
加强部门联系，提高整条管理链条和产业链条的效率。
降低服务成本，发现隐藏线索进行产品和服务的创新。

Mckinsey列出了各个行业利用大数据价值的难易度以及发展潜力。《Big data: The next frontier for innovation, competition, and proctivity》

各种Data之间的关系图，注意Open Data是完全包含了Open government data（政府开放数据）

Mckinsey也列出了Open Data时代里七大行业潜在的经济价值，自上而下分别是教育，运输，消费品、电力、石油与天然气、医疗护理、消费金融。（感谢知友安阳提供的补充链接资料）

大数据的类型大致可分为三类：
传统企业数据（Traditional enterprise data）：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。
机器和传感器数据（Machine-generated /sensor data）：包括呼叫记录（Call Detail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等。
社交数据（Social data）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。

从理论上来看：所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因，第一、第二产业的发展速度相对于第三产业来说会迟缓一些。

(2).第二产业
2013年9月，工业和信息化部发布了《关于印发信息化和工业化深度融合专项行动计划（2013-2018年）》的通知。明确提出推动物联网在工业领域的集成创新和应用：
实施物联网发展专项，在重点行业组织开展试点示范，以传感器和传感器网络、RFID、工业大数据的应用为切入点，重点支持生产过程控制、生产环境检测、制造供应链跟踪、远程诊断管理等物联网应用，促进经济效益提升、安全生产和节能减排。

大数据的业务多是数据驱动型，具有数据量大、种类多、实时性高的特点。工业企业对数据的记录以往看来主要分为两种方法：传统的纸笔和Excel电子表格记录。这些操作起来看似简单的数据管理方式为企业生产及质量监控埋下了巨大的隐患，也让数据挖掘无从谈起。

随着信息化与工业化的融合发展，信息技术渗透到了工业企业产业链的各个环节。例如Sensor、RFID、Barcode、物联网等技术已经在企业中得到初步应用，工业大数据也开始逐渐得到积累。企业中生产线高速运转时机器所产生的数据量不亚于计算机数据，而且数据类型多是非结构化数据，对数据的实时性要求也更高。因此工业大数据所面临的问题和挑战很多，所以通用电气公司（General Electric）的副总裁兼全球技术总监William Ruh认为相对于工业大数据来说，工业互联网（Instrial Internet）才是当前急需的，因为大数据本身并没有让信息的提取更加智能，业务比数据本身更加重要。他举了一个核磁共振成像扫描的例子：
Here’s an example. An MRI scan is the best way to see inside the human body. While effective in helping to diagnose multiple sclerosis, brain tumors, torn ligaments and strokes, the data proced by an MRI machine is disconnected from the person that needs it the most.
At a very simplistic level, there are many indivials working as a team to make the scan happen. A nurse administers medications or contrast agents that may be needed for the exam; an MRI technologist operates the scanner; and a radiologist identifies the imaging sequences to be used and interprets the images. This information is then given to the nurse, who then passes it to the primary doctor to review and take action accordingly. This is Big Data, but it is not making information more intelligent.

又如在工业中，压力、温度等数据的特点是需要语境才能理解的。燃气轮机排气装置上的温度读数与一台机车的内部温度是完全不同的。燃气轮机改善热敷需要使用非常复杂的算法运行模型。在笔记本电脑上，一个典型的查询要获得答案一般需要三个星期。在基于大数据的分布式系统上发布同样的查询执行一种计算只需要不到一秒钟。

第三方认证机构（TÜV NORD GROUP），工业
德国汉德技术监督服务有限公司的前身是德国锅炉检验协会（简称TÜV）早在1869年，德国锅炉检验协会就承担了德国国内所有锅炉运行安全的检验工作，保证了锅炉生产的安全。渐渐的，德国锅炉检验协会取得了德国政府的授权，开展对其他产品的检验工作，从采矿，电力系统开始，到压力容器，机动车辆，医疗设备，环境保护，宇航工业，医疗产品等等，现在的德国汉德技术监督服务有限公司已经成为了许许多多产品的安全代号。主要体系认证包括企业质量管理体系，生产环境体系，生产碳排放方案等。TÜV当前从建筑绿色标准体系方面提出了对于大数据能源管理的探索，以微软新总部，蒂森克虏伯电梯总部为例，在整个项目实施中引入大数据能源管理，在建筑的设计规划阶段、施工阶段、运营阶段等多个阶段通过数据化的能源管理系统，实现建筑的低碳、绿色、智能。

工业自动化软件商（Wonderware ），工业
Wonderware作为系统软件涉及的专业企业，对于大数据的计算和运用是从比较“IT”的角度出发的。Wonderware 的实时数据管理软件能够提供一个工厂所需要的从建立到报废的所有实时数据。目前已经退出移动版本，工程总监在手机上就能够随时随地监控设备的运行状况。目前全球超过三分之一的工厂应用Wonderware公司的软件解决方案。

了解更多：
大数据在电力行业的应用前景有哪些？

(3).第三产业
这一个部分的内容比较多。这里只提出一些典型的应用例子，欢迎补充。
健康与医疗：Fitbit® Official Site: Flex, One and Zip Wireless Activity and Sleep Trackers的健身腕带可以收集有关我们走路或者慢跑的数据，例如行走步数、卡路里消耗、睡眠时长等数据与健康记录来改善我们的健康状况；Early Detection of Patient Deterioration等公司正在开发床垫监测传感器，自动监测和记录心脏速率、呼吸速率、运动和睡眠活动。该传感器收集的数据以无线方式被发送到智能手机和平板电脑进行进一步分析；美国公共卫生协会（APHA: American Public Health Association）开发Flu Near You用来的症状，通过大数据分析生成报告显示用户所在地区的流感活动。

视频：互联网电视能够追踪你正在看的内容，看了多长时间，甚至能够识别多少人坐在电视机前，来确定这个频道的流行度。Netflix 美国国内规模最大的商业视频流供应商，收集的数据包括用户在看什么、喜欢在什么时段观看、在哪里观看以及使用哪些设备观看等。甚至记录用户在哪视频的哪个时间点后退、快进或者暂停，乃至看到哪里直接将视频关掉等信息。典型的应用是Netflix公司利用数据说服BBC重新翻拍了电视连结剧《纸牌屋》，而且成功的挖掘出演员Kevin Spacey和导演David Fincher的支持者与原剧集粉丝的关联性，确定新剧拍摄的最佳人选。
When the program, a remake of a BBC miniseries, was up for purchase in 2011 with David Fincher and Kevin Spacey attached, the folks at Netflix simply looked at their massive stash of data. Subscribers who watched the original series, they found, were also likely to watch movies directed by David Fincher and enjoy ones that starred Kevin Spacey. Considering the material and the players involved, the company was sure that an audience was out there.

交通：《车来了》通过分析公交车上GPS定位系统每天的位置和时间数据，结合时刻表预测出每一辆公交车的到站时间；WNYC开发的Transit Time NYC通过开源行程平台（Github：OpenTripPlanner和MTA ）获取的数据将纽约市划分成2930个六边形，模拟出从每一个六边形中点到边缘的时间（地铁和步行，时间是上午九点），最终建模出4290985条虚拟线路。用户只需点击地图或者输入地址就能知道地铁到达每个位置的时间；实时交通数据采集商INRIX-Traffic的口号是（永不迟到！^^），通过记录每位用户在行驶过程中的实时数据例如行驶车速，所在位置等信息并进行数据汇总分析，而后计算出最佳线路，让用户能够避开拥堵。

电子商务：Decide 是一家预测商品价格并为消费者提出购买时间建议的创业公司，通过抓取亚马逊、百思买、新蛋及全球各大网站上数以十亿计的数据进行分析，最终整合在一个页面中方便消费者对比查看，并且能够预测产品的价格趋势，帮助用户确定商品的最好购买时机。已经于2013年被 eBay收购。

政治：奥巴马在总统竞选中使用大数据分析来收集选民的数据，让他可以专注于对他最感兴趣的选民，谷歌执行董事长Eric Schmidt当时向奥巴马的大数据分析团队投资数百万美元并聚拢核心成员成立了Civis Analytics咨询公司，该公司将会将在奥巴马连任竞选中所获得的经验应用到商业和非营利行业中。（了解更多可以看看MIT technology的文章The Definitive Story of How President Obama Mined Voter Data to Win A Second Term）

金融：ZestFinance | Big Data Underwriting 是由是Google的前任 CIO，Douglas Merrill创立金融数据分析服务提供商，使用机器学习算法和大数据为放款者提供承保模式，旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析，只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。另外一个不得不提到的是风险管理先驱者FICO | Predictive Analytics, Big Data Analytics and FICO Credit Scores，通过大数据分析为银行和信用卡发卡机构、保险、医疗保健、政府和零售行业提供服务。FICO 信用分计算的基本思想是：把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较，检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。FICO 已经为三分之二的世界 100 强银行提供服务，提高了客户忠诚度和盈利率、减少欺诈损失、管理信贷风险、满足监管与竞争要求并快速获取市场份额。想了解更多的企业可以看看附录中《经济学人》的文章《Big data: Crunching the numbers》。

电信： 美国T-mobiles采用Informatica - The Data Integration Company平台开展大数据工作，通过集成数据综合分析客户流失的原因，根据分析结果优化网络布局为客户提供了更好的体验，在一个季度内将流失率减半；韩国 SK telecom新成立一家公司SK Planet，通过大数据分析用户的使用行为，在用户做出决定之前推出符合用户兴趣的业务防止用户流失。美国AT&T 公司将记录用户在Wifi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。比如当用户距离商家很近时，就有可能收到该商家提供的折扣很大的电子优惠券。英国BT - Broadband公司发布了新的安全数据分析服务Assure Analytics—BT news releases，帮助企业收集、管理和评估大数据集，将这些数据通过可视化的方式呈现给企业，帮助企业改进决策。

一般来说盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程，所以还有很多大家不知道的神秘应用潜伏在黑暗里，如同《三体》中的”黑暗森林法则“。
宇宙就是一座黑暗森林，每个文明都是带枪的猎人，像幽灵般潜行于林间，轻轻拨开挡路的树枝，竭力不让脚步发出一点儿声音，连呼吸都必须小心翼翼：他必须小心，因为林中到处都有与他一样潜行的猎人，如果他发现了别的生命，能做的只有一件事：开枪消灭之。在这片森林中，他人就是地狱，就是永恒的威胁，任何暴露自己存在的生命都将很快被消灭，这就是宇宙文明的图景，这就是对费米悖论的解释。

二、大数据的定义
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。
数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
价值密度低(Value)。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
处理速度快(Velocity)。大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。

看看专家们怎么说。

舍恩伯格，大数据时代 (豆瓣)
不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。

埃里克·西格尔，大数据预测 (豆瓣)
大数据时代下的核心，预测分析已在商业和社会中得到广泛应用。随着越来越多的数据被记录和整理，未来预测分析必定会成为所有领域的关键技术。

城田真琴，大数据的冲击 (豆瓣)
从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。 它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

三、大数据的价值
了解了大数据的典型应用，理解了大数据的定义。这时相信在每个人的心中，关于大数据的价值都有了自己的答案。

2010年《Science》上刊登了一篇文章指出，虽然人们的出行的模式有很大不同，但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性，即93%的人类行为可预测。
Limits of Predictability in Human Mobility
A range of applications, from predicting the spread of human and electronic viruses to city planning and resource management in mobile communications, depend on our ability to foresee the whereabouts and mobility of indivials, raising a fundamental question: To what degree is human behavior predictable? Here we explore the limits of predictability in human dynamics by studying the mobility patterns of anonymized mobile phone users. By measuring the entropy of each indivial’s trajectory, we find a 93% potential predictability in user mobility across the whole user base. Despite the significant differences in the travel patterns, we find a remarkable lack of variability in predictability, which is largely independent of the distance users cover on a regular basis.

而大数定理告诉我们，在试验不变的条件下，重复试验多次，随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下，往往呈现几乎必然的统计特性。
举个例子，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然中包含着某种必然。

随着计算机的处理能力的日益强大，你能获得的数据量越大，你能挖掘到的价值就越多。

实验的不断反复、大数据的日渐积累让人类发现规律，预测未来不再是科幻电影里的读心术。

如果银行能及时地了解风险，我们的经济将更加强大。
如果政府能够降低欺诈开支，我们的税收将更加合理。
如果医院能够更早发现疾病，我们的身体将更加健康。
如果电信公司能够降低成本，我们的话费将更加便宜。
如果交通动态天气能够掌握，我们的出行将更加方便。
如果商场能够动态调整库存，我们的商品将更加实惠。

最终，我们都将从大数据分析中获益。

四、结束语。

Here's the thing about the future.关于未来有一个重要的特征
Every time you look at it,每一次你看到了未来
it changes because you looked at it.它会跟着发生改变 因为你看到了它
And that changes everything else.然后其它事也跟着一起改变了

数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键。

祝每一个DMer都挖掘到金矿和快乐：）

㈡ 通过大数据获得足够多的信息，是否可以预测个人的行为

不可能完完全全的预测个人的，就算是获得了足够多的信息都没有你去接触这个人更快的预测这个人，消息也是有误的，要预测一个人最好自己去了解。

㈢ 大数据如何预测

大数据的本质是解决问题，大数据的核心价值就在于预测，而企业经营的核心也是基于预测而做出正确判断。在谈论大数据应用时，最常见的应用案例便是“预测股市”“预测流感”“预测消费者行为”等。
大数据预测则是基于大数据和预测模型去预测未来某件事情的概率。让分析从“面向已经发生的过去”转向“面向即将发生的未来”是大数据与传统数据分析的最大不同。

大数据预测的逻辑基础是，每一种非常规的变化事前一定有征兆，每一件事情都有迹可循，如果找到了征兆与变化之间的规律，就可以进行预测。大数据预测无法确定某件事情必然会发生，它更多是给出一个事件会发生的概率。

实验的不断反复、大数据的日渐积累让人类不断发现各种规律，从而能够预测未来。利用大数据预测可能的灾难，利用大数据分析癌症可能的引发原因并找出治疗方法，都是未来能够惠及人类的事业。

㈣ 对于现在的大数据思维你咋理解

大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。

㈤ 生活中的大数据例子

1、洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

目前位于美国加利福尼亚州的PredPol公司在某种程度上把利用大数据预测犯罪变成了现实。

PredPol 推出的犯罪活动预测软件主界面是一张城市地图，看起来与谷歌地图相似。它会根据某一地区过往的犯罪活动统计数据，借助特殊算法，计算出某地发生犯罪的概率、犯罪类型，以及最有可能犯罪的时间段。

它还可以用红色方框表示需要提高警惕的犯罪“热点”地区，警方可以通过个人电脑、手机或平板电脑对其进行在线查看。

犯罪预测软件实际上是从地震预测软件进化而来的，它能处理大量犯罪数据，尤其是犯罪地点和犯罪时间，然后再联系已知的犯罪行为，比如窃贼通常倾向于在他们最熟悉的社区犯罪等，最终给出一个较为完善的结果。

每次运算结束后，犯罪预测软件会给出一张画出了红色方框的地图，这些红色方框代表盗窃行为可能发生的“热点”地区，有些时候这些区域能准确地缩小至很小的范围。

警察局的上司会吩咐属下，当他们没在处理报警电话时，就应该花时间在这些高危区域中巡逻，最好是每两小时巡逻至少15分钟。这样做的重点更在于通过在软件画出的高危区中高调巡逻而降低犯罪，而非等案子发生后破案。

2、google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

Google流感趋势（Google Flu Trends，GFT）是Google于2008年推出的一款预测流感的产品。Google认为，某些搜索字词有助于了解流感疫情。Google流感趋势会根据汇总的Google搜索数据，近乎实时地对全球当前的流感疫情进行估测。

3、麻省理工学院利用手机定位数据和交通数据建立城市规划。

目前手机移动网络实现了城乡空间区域的全覆盖,城乡人口中手机终端的持有率和使用率已经达到相当高的比例,手机定位数据契合了城乡人口空间分布与活动规律的分析需求。

根据手机信号在真实地理空间上的覆盖情况,将手机用户时间序列的移动信号数据,映射至现实的地理空间位置,即可完整、客观地还原出手机用户的现实活动轨迹,从而挖掘得到人口空间分布与活动联系特征信息。

4、梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

(5)大数据预测被打脸扩展阅读

经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。

《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

㈥ 为什么说未来只有两种人，掌握高科技的人和被高科技掌握的人

未来只有两种人，掌握高科技的人和被高科技掌握的人。“高科技”一词过于泛泛，代入一种，也就是我们今天要讲的“大数据技术”。马云说，很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。（在其卸任时的演讲。）同马总观点一样，“大数据”，它代表着一个时代。

人类文明是一艘巨轮，科技是它永不沉没的唯一动力，能看到这一点，还懂得去追随的，就掌握了它；那些不仅看不到，甚至还想办法使绊子的，就只有跟在后面吃灰。

这就是我的结论。要想打破这种思维壁垒，成为掌握高科技的人，首先要对科技抱有积极的热爱，不断从中学习，付之以赤诚，培养科技敏锐度，如果你觉得这一切都太多太麻烦的话，有一个简单一点的办法。

㈦ 大数据价值仅显露冰山一角

大数据价值仅显露冰山一角
一度被认为是废物的各种来源的数据现在对某些人来说已经成为一种宝贵资源，这些人保存大数据并以此进行分析预测而为全球企业的改变服务。我们可能在某些细小的方面看到过案例。有些组织在与其对手的竞争中通过使用bigdata已经获得了绝对优势，但很多人会说并不能确定是胜在使用bigdata这一点上。
2012年已经被预测为大数据年。但到目前为止，研究的重点还集中在处理4V（高速、种类、容量和价值）bigdata以及如何操作它们。据我所知，还没有在商业角度使用这种数据以期获得竞争优势或改进业务流程的愿景。如果能够为大家的利益分享这种实例，将会是很有趣的事情。
bigdata有足够的竞争力么？
如果有人提出bigdata有什么不同的争论，出现这种争论也是很现实的。有没有通过bigdata来验证的分析呢。不用说，大部分的数据还是很庞大，仍然同之前一样是一种浪费。你会发现大概有1%到5%对提高业务流程是有足够使用价值的。
组织开始调整和改善流程、客户关系、降低价格以获得竞争优势并且提供捷径满足客户的战术需求。所有这些调整都将是bigdata分析的一部分并且可能会偏离预测。因此，bigdata有两条路，它能够通过分析给你竞争优势或者说消除所作出的偏离的未经验证的分析。由于统计分析技术或者对数据正确评估经验的不足，使进行正确的分析和得到正确的结果有了更大的困难。
大数据软件蓄势待发
bigdata的定义迄今集中在提高寻址能力和处理数据4V的能力上。但终端客户却不是bigdata所关注的。它关注于如何获得精细的统计数据来更好的为客户服务。我们将很可能在今年余下的时间内看到成熟的大数据软件。Teradata收购eCircle、IBM收购TeaLeaf和其他的例子证明企业营销、数字媒体、活动、客户体验和更多的数据同步都会要朝这个方向移动。
决策使其更强大
无论是结构化还是非结构化数据的计算和分析作为组织的一种能力为组织作出决定和执行分析进行反馈、为客户的利益而使bigdata有价值。我们已经看到冰山一角，当有一天可以提供特定领域的个性化的bigdata解决方案用以在零售业、保险业、金融业和其他行业做出决策将会是件很有趣的事情。
虽然还有很多工作要做，我们已经看到bigdata世界的巨大进步，我们希望更多的创新和令人兴奋的事情在今年余下的时间里能够出现。