A. 美国总统奥巴马宣布启动"大数据研究和发展计划是哪一年
2011年初，美国政府发布了《美国创新战略:确保美国经济增长与繁荣》报告。该报版告不仅对奥巴马上任以权来美国政府采取的所有创新举措进行了系统归纳，同时也对美国未来科技发展做出了战略规划和部署。这意味着美国已经将创新的重心转移到促进经济增长与繁荣，以创新“赢得未来”。
B. 哪一年 奥巴马 将大数据上升为国家意志
2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。
C. 大数据的历史
李娜再度夺得大满贯，超越了张德培的华人大满贯纪录，非举国体制下的奇迹造就了举国的愉悦。
在总结李娜成功因素的时候，也再次看到了这样的言论：是大数据起到了重要的作用。但这次李娜夺冠，最靠谱的解释就是李娜在卡洛斯的帮助下大大提升了心理层面的战斗力。
在技术层面领先的前提下，李娜在整场比赛中克服了节奏问题，她具备了一颗冠军的心脏。2012年9月6日，代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。
当时，IBM公司在综合了美网过去8年的全部比赛数据之后，为参赛球员制定了“Keys to the march”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标：1.一发得分率超过69%;2.4-9拍相持中得分利率要超过48%:3.发球局30-30或40-40时得分率要超过67%。
比赛结果是，李娜溃败。比赛结束后，IBM高调地宣布李娜仅仅完成了三项制胜策略中的项，而小威廉姆斯则完成了自己三项制胜策略中的两项。
于是，很多人就顺着IBM的思路问，李娜为什么不照着BM的策略去打球？其实，当当事人的主观愿望不积极的时候，大数据对他们来说不过是噪音而已。同样，数据也会因为主观意愿具有欺骗性。
我们很多时候都会被误导，认为大数据的作用是让历史提示未来。其实不然。
在网球这样的领域里，历史数据甚至常常会成为陷阱。有意思的是，在另一场女子网球比赛中，一位球员做到了IBM为其制定的三项指标中的两个，她却失败了。
而胜利的一方，只完成了一个指标。
可按照时间点划分大数据的发展历程。
大数据时代发展的具体历程如下：2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。
Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务，以及利用一种叫做MapRece技术的高性能并行数据处理服务。
这两项服务的共同目标是，提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 （puting munity Consortium），发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。
它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。此组织可以说是最早提出大数据概念的机构。
2009年印度 *** 建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年，美国 *** 通过启动://Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的 *** 数据。
该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息，这一行动激发了从肯尼亚到英国范围内的 *** 们相继推出类似举措。2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。
2010年2月，肯尼斯ž库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》。库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。
从经济界到科学界，从 *** 部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇：“大数据”。
库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。
后来 *** 认为这一刻为一个“大数据计算的胜利。” 相继在同年5月，全球知名咨询公司麦肯锡（McKinsey&pany）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。
报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。
报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。
2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》（Big Data, Big Impact） 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。2012年3月，美国奥巴马 *** 在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。
2012年3月22日，奥巴马 *** 宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中， *** 对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力；国家数字 *** 体现对数据的占有和控制。
数字 *** 将是继边防、海防、空防之后，另一个大国博弈的空间。2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。
鉴于美国经济持续低靡、股市持续震荡的大背景，Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商，成立于2003年。
Splunk成功上市促进了资本市场对大数据的关注，同时也促使IT厂商加快大数据布局。2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书，总结了各国 *** 如何利用大数据更好地服务和保护人民。
这份白皮书举例说明在一个数据生态系统中，个人、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人提供数据和众包信息，并对隐。
进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。
它已经上过《 *** 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《 *** 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 *** ，所有领域都将开始这种进程。”
。
大数据时代：最早提出大数据时代到来的是全球知名咨询公司麦肯锡， 大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
大数据提出的背景：进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《 *** 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如《 *** 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 *** ，所有领域都将开始这种进程。” (3)奥巴马大数据投资扩展阅读 大数据影响 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。 在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。
有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。
这些数据的规模是如此庞大，以至于不能用G或T来衡量。大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）。
发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万…… 截止到2012年，数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。
而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。
而到了2020年，全世界所产生的数据规模将达到今天的44倍。 每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。
然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。
大数据的精髓 大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样（随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制）； B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度；之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱；拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可。
适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力； C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大。
大数据是一种现代云基础架构，它包含了多种与其他人连接和共享信息的方法。它推动了“物联网”的发展，如通过社交网站连接人、通过共享朋友或网络来寻找人们之间互相认识的可能性。大数据的背后运行着人工智能，而它对于大多数人而言是完全透明的，人们不知道背后有这样的技术。大数据位于人们日常使用的智能手机之后，然后人们通过它给移动互联网贡献信息，即使他们并没有意识到这一点。
为什么大数据如此重要？
第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。
第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。
第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。
总结
在大数据时代到来的时候，要用大数据的思维去发掘大数据的潜在价值。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。从前我们所了解的数据是冷冰冰的、死气沉沉的，被存到冷备份默默地等着人拿出来用，我们对待数据的感觉十分消极，要先想清楚其用处才开始分析应用。现在，数据时代来临了，人们正在试图点燃数据，使其变热，赋予生命。所谓“活数据”，是动态的数据，流通的数据，因互动而产生，因产生而互动，是自然演化的数据，要用大数据的思维去考虑这些数据怎样才能带来效益。未来大数据的发展前景非常好，与大数据相关的职业比如数据挖掘师，数据分析师等必定会有广阔的发展空间。
这个问题是这样的：
首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量。
其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize
最后有个方法可以使用，如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。
注意平时对数据库的维护 定期整理索引碎片
D. 大数据发展的三个必要条件
大数据发展的三个必要条件_数据分析师考试
近年来，关于大数据的讨论在技术、应用和模式等多个层面展开，已被认为代表着产业发展的方向。但与互联网公司的诸多实践相比，被认为具有数据资源先天优势的电信运营商却走在了后面，即便放眼全球，电信运营商的大数据应用案例也是屈指可数。移动宽带和固网宽带快速发展、OTT的强势崛起决定了电信运营商必须充分利用自身掌握的数据资源，另辟蹊径，从而实现网络价值的最大化。因此，电信运营商应用大数据是必然的，而且市场前景十分广阔。
为了加快大数据的“落地”步伐，帮助业界各方特别是电信运营企业更好地了解大数据，认清大数据战略发展的重要性，分析发展道路上面临的难题和障碍，促进大数据产业链的成熟，推动大数据的应用推广。从今天开始，《人民邮电》报特邀来自中兴通讯、电信研究院以及三大运营商等单位的专家，推出“掘金大数据”系列报道，以飨读者。
大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，也就是Volume（海量）、Velocity（高速）、Variety（多样）、Value（价值），大数据的定义才算完整，而最后一个Value（价值），恰恰是决定大数据未来走向的关键。
大数据发展的三个必要条件
大数据的发展需要三方面的必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络的兴起、物联网的发展和移动互联网的普及，微信、微博、智能手机、电商大行其道，诞生了大量有价值的数据源，比如位置、生活信息等数据，数据源的出现奠定了大数据发展的基础。大数据时代到来的重要标志，则是大批专业级“数据买卖商”的出现，以及围绕数据交易形成的贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心，则是使用户从海量的非结构化数据和半结构化数据中获得新的价值，数据价值是带动数据交易的原动力。
IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司，在这些互联网巨头的带动下，数据分析技术日渐成熟。2013年6月，爱德华·斯诺登将“棱镜”计划公之于众，“棱镜门”事件一方面说明大数据技术已经成熟，另一方面也佐证了现在阻碍大数据发展的不是技术，而是数据交易和数据价值。
大数据技术的发展促进了云计算的落地，云计算的部署完成又反过来加大了市场对数据创造价值的期待。大数据概念提出之后，市场终于看到了云计算的获利方向，云计算市场仿佛在一夜之间爆发，在过去一两年间几乎已经被国内大方案商、大集成商瓜分殆尽——各地的一级系统集成商与当地政府合作，建云数据中心，建智慧城市；各大行业的巨头们在搭建各自行业的混合云标准，搭建行业云平台；公有云也来了，各大IT巨头想尽办法申请中国的公有云牌照。云计算从概念到落地用了5年时间，最终促成这一切的就是大数据，或者说是市场对数据价值的期待。借助于国内智慧城市概念的大规模普及，云计算基础设施已基本准备就绪，一方面具备了大数据应用的硬件基础，另一方面迫于回收云计算投资的压力，市场急需应用部署，大数据恰如雪中送炭，被市场寄予厚望。
现在，一切的矛头都指向了“数据如何创造价值？”
56数据创造价值的基石6是数据整合和开放
大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示，60%受调查者称“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早”。之所以如此，是由于当前大数据缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。大数据通过研究数据的相关性来发现客观规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，这是当前大数据发展的软肋和需要解决的大问题。
2012年美国大选奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队，他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金；他们通过数据挖掘使竞选广告投放效率提升了14%；他们通过制作摇摆州选民的详细模型，每晚实施6.6万次模拟选举，推算奥巴马在摇摆州的胜率，并以此来指导资源分配。这个数据挖掘团队，对奥巴马成功连任功不可没。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方就是对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题：数据分散在过多的数据库中。因此，在前18个月，奥巴马竞选团队就创建了一个单一的庞大数据系统，可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体，以及“摇摆州”主要的民主党投票人的信息整合在一起。这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意，还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说，在整个竞选活中，没有数据做支撑的假设很少存在。
2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将大数据研究上升为国家意志，对大数据的整合带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内智慧城市的建设目标之一就是实现数据的集中共享。
数据创造价值需要合作共赢的商业模式
随着云计算、大数据技术和相关商业环境的不断成熟，越来越多的“软件开发者”正在利用跨行业的大数据平台，打造创新价值的大数据应用，而且这一门槛正在不断降低。因为首先，数据拥有者乐于做这样的事情，他们能够以微乎其微的成本获取额外的收入，提高利润水平；其次，大数据设备厂商乐于做这样的事情，因为厂商需要应用来吸引消费者购买设备，发展合作共赢的伙伴关系势必比单纯销售设备要有利可图，一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”；第三，行业细分市场的数据分析应用需求在不断加大，对于整个大数据产业链来说，创新型的行业数据应用开发者必将是未来整个大数据产业链中最为活跃的部分。
在必然到来的大数据时代，有三种企业将在“大数据产业链”中处于重要地位：掌握海量有效数据的企业，有着强大数据分析能力的企业，以及创新的“软件开发者”。社交网络、移动互联网、信息化企业、电信运营商都是海量数据的制造者，Facebook公司手中掌握着8.5亿用户，淘宝注册用户超过3.7亿，腾讯的微信用户突破3亿，这些庞大用户群所提供的数据，正在等待时机释放出巨大的商业能量。可以预测，在不久的将来，Facebook、腾讯、电信运营商等海量数据持有者要么自我发展成为数据分析提供商，要么与IBM、ZTE等企业密切对接成为上下游合作企业，大数据产业链将在某个爆发点到来之际，以令人惊讶的速度成长壮大。
警惕大数据的危害
大数据时代，传统的随机抽样被“所有数据的汇拢”所取代，人们的思维决断模式，已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此将更精确、更有预见性。不过，由于大数据过于依靠数据的汇集，一旦数据本身有问题，就很可能出现“灾难性大数据”，即因为数据本身的问题，而导致错误的预测和决策。
大数据的理论是“在稻草堆里找一根针”，而如果“所有稻草看上去都挺像那根针”呢？过多但无法辨析真伪和价值的信息和过少的信息一样，对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言，同样是一种危害。大数据理论是建立在“海量数据都是事实”的基础上，而如果数据提供者造假呢？这在大数据时代变得更有害，因为，人们无法控制数据提供者和搜集者本人的偏见与过滤。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。
不仅如此，大数据时代造就了一个数据库无所不在的世界，数据监管部门面临前所未有的压力和责任：如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害？如何避免信息不对等，对弱势群体的利益构成伤害？在有效控制风险之前，也许还是让大数据继续待在“笼子”里更好一些。
大数据的经济价值已经被人们所认可，大数据的技术也已经逐渐成熟，一旦完成数据的整合和监管，大数据爆发的时代即将到来。我们现在要做的，就是选好自己的方向，为迎接大数据的到来，提前做好准备。
以上是小编为大家分享的关于大数据发展的三个必要条件的相关内容，更多信息可以关注环球青藤分享更多干货
E. 什么是大数据时代
大数据时代
（巨量资料（IT行业术语））
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施
产生背景
编辑
进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”[2]
影响
编辑
大数据
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[3]
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……[1]
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。[5] 每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。[5]
大数据的精髓
大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]
A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);
B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。
数据价值
大数据时代，什么最贵?
十年前，葛大爷曾说过，“21世纪什么最贵?”——“人才”，深以为然。只是，十年后的今天，大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。[7]
一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
●1、华尔街根据民众情绪抛售股票；
●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
●3、银行根据求职网站的岗位数量，推断就业率；
●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。[1]
可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时，成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会有接近上帝俯视人间星火的感觉？”
这个问题我曾请教过刘建国，中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道，刘建国曾任至网络的首席技术官，在这样一家每天需应对网民各种搜索请求1.7亿次（2013年约为8.77亿次）的网站中，如果只是在后台静静端坐，可能片刻都不能安心吧。网络果然在提供搜索服务之外，逐渐增添了网络指数，后又建立了基于网民搜索数据的重要产品“贴吧”及网络统计产品等。
刘建国没有直接回答这个问题，他想了很久，似乎陷入了回忆，嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。
在数据可视化呈现方面，我最新接收到的故事是，一位在美国思科物流部门工作的朋友，很聪明的印度裔小伙子，被Facebook高价挖角，进入其数据研究小组。他后来惊讶地发现，里面全是来自物流企业、供应链方面的技术人员和专家，“Facebook想知道，能不能用物流的角度和流程的方式，分析用户的路径和行为。”
特征
编辑
数据量大（Volume）
第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
速度快、时效高（Velocity）
第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]
案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。
产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：
1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。
IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”
在国内，网络已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。
事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。[1-2]
提供依据
编辑
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。
事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
应对措施
编辑
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面六个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapRece，NoSQL等技术都是2013年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。
望采纳，谢谢
F. 介绍有关计算机的一种前端技术
大数据基础概念
“很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”——马云卸任演讲
本文尝试从三大产业的角度将大数据的核心商业价值分类讨论。
首先例举一些大数据的典型应用，然后解释大数据的定义，最后总结大数据的价值。
我们知道：
第一次工业革命以煤炭为基础，蒸汽机和印刷术为标志，
第二次工业革命以石油为基础，内燃机和电信技术为标志，
第三次工业革命以核能基础，互联网技术为标志，
第四次工业革命以可再生能源为基础，_________为标志。
空白处你会填上什么？欢迎大家讨论。但是目前可以预测的是，数据和内容作为互联网的核心，不论是传统行业还是新型行业，谁率先与互联网融合成功，能够从大数据的金矿中发现暗藏的规律，就能够抢占先机，成为技术改革的标志。
一、大数据的应用
大数据挖掘商业价值的方法主要分为四种：
客户群体细分，然后为每个群体量定制特别的服务。
模拟现实环境，发掘新的需求同时提高投资的回报率。
加强部门联系，提高整条管理链条和产业链条的效率。
降低服务成本，发现隐藏线索进行产品和服务的创新。
Mckinsey列出了各个行业利用大数据价值的难易度以及发展潜力。《Big data: The next frontier for innovation, competition, and proctivity》
各种Data之间的关系图，注意Open Data是完全包含了Open government data（政府开放数据）
Mckinsey也列出了Open Data时代里七大行业潜在的经济价值，自上而下分别是教育，运输，消费品、电力、石油与天然气、医疗护理、消费金融。（感谢知友安阳提供的补充链接资料）
大数据的类型大致可分为三类：
传统企业数据（Traditional enterprise data）：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。
机器和传感器数据（Machine-generated /sensor data）：包括呼叫记录（Call Detail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等。
社交数据（Social data）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。
从理论上来看：所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因，第一、第二产业的发展速度相对于第三产业来说会迟缓一些。
(2).第二产业
2013年9月，工业和信息化部发布了《关于印发信息化和工业化深度融合专项行动计划（2013-2018年）》的通知。明确提出推动物联网在工业领域的集成创新和应用：
实施物联网发展专项，在重点行业组织开展试点示范，以传感器和传感器网络、RFID、工业大数据的应用为切入点，重点支持生产过程控制、生产环境检测、制造供应链跟踪、远程诊断管理等物联网应用，促进经济效益提升、安全生产和节能减排。
大数据的业务多是数据驱动型，具有数据量大、种类多、实时性高的特点。工业企业对数据的记录以往看来主要分为两种方法：传统的纸笔和Excel电子表格记录。这些操作起来看似简单的数据管理方式为企业生产及质量监控埋下了巨大的隐患，也让数据挖掘无从谈起。
随着信息化与工业化的融合发展，信息技术渗透到了工业企业产业链的各个环节。例如Sensor、RFID、Barcode、物联网等技术已经在企业中得到初步应用，工业大数据也开始逐渐得到积累。企业中生产线高速运转时机器所产生的数据量不亚于计算机数据，而且数据类型多是非结构化数据，对数据的实时性要求也更高。因此工业大数据所面临的问题和挑战很多，所以通用电气公司（General Electric）的副总裁兼全球技术总监William Ruh认为相对于工业大数据来说，工业互联网（Instrial Internet）才是当前急需的，因为大数据本身并没有让信息的提取更加智能，业务比数据本身更加重要。他举了一个核磁共振成像扫描的例子：
Here’s an example. An MRI scan is the best way to see inside the human body. While effective in helping to diagnose multiple sclerosis, brain tumors, torn ligaments and strokes, the data proced by an MRI machine is disconnected from the person that needs it the most.
At a very simplistic level, there are many indivials working as a team to make the scan happen. A nurse administers medications or contrast agents that may be needed for the exam; an MRI technologist operates the scanner; and a radiologist identifies the imaging sequences to be used and interprets the images. This information is then given to the nurse, who then passes it to the primary doctor to review and take action accordingly. This is Big Data, but it is not making information more intelligent.
又如在工业中，压力、温度等数据的特点是需要语境才能理解的。燃气轮机排气装置上的温度读数与一台机车的内部温度是完全不同的。燃气轮机改善热敷需要使用非常复杂的算法运行模型。在笔记本电脑上，一个典型的查询要获得答案一般需要三个星期。在基于大数据的分布式系统上发布同样的查询执行一种计算只需要不到一秒钟。
第三方认证机构（TÜV NORD GROUP），工业
德国汉德技术监督服务有限公司的前身是德国锅炉检验协会（简称TÜV）早在1869年，德国锅炉检验协会就承担了德国国内所有锅炉运行安全的检验工作，保证了锅炉生产的安全。渐渐的，德国锅炉检验协会取得了德国政府的授权，开展对其他产品的检验工作，从采矿，电力系统开始，到压力容器，机动车辆，医疗设备，环境保护，宇航工业，医疗产品等等，现在的德国汉德技术监督服务有限公司已经成为了许许多多产品的安全代号。主要体系认证包括企业质量管理体系，生产环境体系，生产碳排放方案等。TÜV当前从建筑绿色标准体系方面提出了对于大数据能源管理的探索，以微软新总部，蒂森克虏伯电梯总部为例，在整个项目实施中引入大数据能源管理，在建筑的设计规划阶段、施工阶段、运营阶段等多个阶段通过数据化的能源管理系统，实现建筑的低碳、绿色、智能。
工业自动化软件商（Wonderware ），工业
Wonderware作为系统软件涉及的专业企业，对于大数据的计算和运用是从比较“IT”的角度出发的。Wonderware 的实时数据管理软件能够提供一个工厂所需要的从建立到报废的所有实时数据。目前已经退出移动版本，工程总监在手机上就能够随时随地监控设备的运行状况。目前全球超过三分之一的工厂应用Wonderware公司的软件解决方案。
了解更多：
大数据在电力行业的应用前景有哪些？
(3).第三产业
这一个部分的内容比较多。这里只提出一些典型的应用例子，欢迎补充。
健康与医疗：Fitbit® Official Site: Flex, One and Zip Wireless Activity and Sleep Trackers的健身腕带可以收集有关我们走路或者慢跑的数据，例如行走步数、卡路里消耗、睡眠时长等数据与健康记录来改善我们的健康状况；Early Detection of Patient Deterioration等公司正在开发床垫监测传感器，自动监测和记录心脏速率、呼吸速率、运动和睡眠活动。该传感器收集的数据以无线方式被发送到智能手机和平板电脑进行进一步分析；美国公共卫生协会（APHA: American Public Health Association）开发Flu Near You用来的症状，通过大数据分析生成报告显示用户所在地区的流感活动。
视频：互联网电视能够追踪你正在看的内容，看了多长时间，甚至能够识别多少人坐在电视机前，来确定这个频道的流行度。Netflix 美国国内规模最大的商业视频流供应商，收集的数据包括用户在看什么、喜欢在什么时段观看、在哪里观看以及使用哪些设备观看等。甚至记录用户在哪视频的哪个时间点后退、快进或者暂停，乃至看到哪里直接将视频关掉等信息。典型的应用是Netflix公司利用数据说服BBC重新翻拍了电视连结剧《纸牌屋》，而且成功的挖掘出演员Kevin Spacey和导演David Fincher的支持者与原剧集粉丝的关联性，确定新剧拍摄的最佳人选。
When the program, a remake of a BBC miniseries, was up for purchase in 2011 with David Fincher and Kevin Spacey attached, the folks at Netflix simply looked at their massive stash of data. Subscribers who watched the original series, they found, were also likely to watch movies directed by David Fincher and enjoy ones that starred Kevin Spacey. Considering the material and the players involved, the company was sure that an audience was out there.
交通：《车来了》通过分析公交车上GPS定位系统每天的位置和时间数据，结合时刻表预测出每一辆公交车的到站时间；WNYC开发的Transit Time NYC通过开源行程平台（Github：OpenTripPlanner和MTA ）获取的数据将纽约市划分成2930个六边形，模拟出从每一个六边形中点到边缘的时间（地铁和步行，时间是上午九点），最终建模出4290985条虚拟线路。用户只需点击地图或者输入地址就能知道地铁到达每个位置的时间；实时交通数据采集商INRIX-Traffic的口号是（永不迟到！^^），通过记录每位用户在行驶过程中的实时数据例如行驶车速，所在位置等信息并进行数据汇总分析，而后计算出最佳线路，让用户能够避开拥堵。
电子商务：Decide 是一家预测商品价格并为消费者提出购买时间建议的创业公司，通过抓取亚马逊、百思买、新蛋及全球各大网站上数以十亿计的数据进行分析，最终整合在一个页面中方便消费者对比查看，并且能够预测产品的价格趋势，帮助用户确定商品的最好购买时机。已经于2013年被 eBay收购。
政治：奥巴马在总统竞选中使用大数据分析来收集选民的数据，让他可以专注于对他最感兴趣的选民，谷歌执行董事长Eric Schmidt当时向奥巴马的大数据分析团队投资数百万美元并聚拢核心成员成立了Civis Analytics咨询公司，该公司将会将在奥巴马连任竞选中所获得的经验应用到商业和非营利行业中。（了解更多可以看看MIT technology的文章The Definitive Story of How President Obama Mined Voter Data to Win A Second Term）
金融：ZestFinance | Big Data Underwriting 是由是Google的前任 CIO，Douglas Merrill创立金融数据分析服务提供商，使用机器学习算法和大数据为放款者提供承保模式，旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析，只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。另外一个不得不提到的是风险管理先驱者FICO | Predictive Analytics, Big Data Analytics and FICO Credit Scores，通过大数据分析为银行和信用卡发卡机构、保险、医疗保健、政府和零售行业提供服务。FICO 信用分计算的基本思想是：把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较，检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。FICO 已经为三分之二的世界 100 强银行提供服务，提高了客户忠诚度和盈利率、减少欺诈损失、管理信贷风险、满足监管与竞争要求并快速获取市场份额。想了解更多的企业可以看看附录中《经济学人》的文章《Big data: Crunching the numbers》。
电信： 美国T-mobiles采用Informatica - The Data Integration Company平台开展大数据工作，通过集成数据综合分析客户流失的原因，根据分析结果优化网络布局为客户提供了更好的体验，在一个季度内将流失率减半；韩国 SK telecom新成立一家公司SK Planet，通过大数据分析用户的使用行为，在用户做出决定之前推出符合用户兴趣的业务防止用户流失。美国AT&T 公司将记录用户在Wifi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。比如当用户距离商家很近时，就有可能收到该商家提供的折扣很大的电子优惠券。英国BT - Broadband公司发布了新的安全数据分析服务Assure Analytics—BT news releases，帮助企业收集、管理和评估大数据集，将这些数据通过可视化的方式呈现给企业，帮助企业改进决策。
一般来说盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程，所以还有很多大家不知道的神秘应用潜伏在黑暗里，如同《三体》中的”黑暗森林法则“。
宇宙就是一座黑暗森林，每个文明都是带枪的猎人，像幽灵般潜行于林间，轻轻拨开挡路的树枝，竭力不让脚步发出一点儿声音，连呼吸都必须小心翼翼：他必须小心，因为林中到处都有与他一样潜行的猎人，如果他发现了别的生命，能做的只有一件事：开枪消灭之。在这片森林中，他人就是地狱，就是永恒的威胁，任何暴露自己存在的生命都将很快被消灭，这就是宇宙文明的图景，这就是对费米悖论的解释。
二、大数据的定义
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。
数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。
数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
价值密度低(Value)。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
处理速度快(Velocity)。大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。
看看专家们怎么说。
舍恩伯格，大数据时代 (豆瓣)
不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。
埃里克·西格尔，大数据预测 (豆瓣)
大数据时代下的核心，预测分析已在商业和社会中得到广泛应用。随着越来越多的数据被记录和整理，未来预测分析必定会成为所有领域的关键技术。
城田真琴，大数据的冲击 (豆瓣)
从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。 它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
三、大数据的价值
了解了大数据的典型应用，理解了大数据的定义。这时相信在每个人的心中，关于大数据的价值都有了自己的答案。
2010年《Science》上刊登了一篇文章指出，虽然人们的出行的模式有很大不同，但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性，即93%的人类行为可预测。
Limits of Predictability in Human Mobility
A range of applications, from predicting the spread of human and electronic viruses to city planning and resource management in mobile communications, depend on our ability to foresee the whereabouts and mobility of indivials, raising a fundamental question: To what degree is human behavior predictable? Here we explore the limits of predictability in human dynamics by studying the mobility patterns of anonymized mobile phone users. By measuring the entropy of each indivial’s trajectory, we find a 93% potential predictability in user mobility across the whole user base. Despite the significant differences in the travel patterns, we find a remarkable lack of variability in predictability, which is largely independent of the distance users cover on a regular basis.
而大数定理告诉我们，在试验不变的条件下，重复试验多次，随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下，往往呈现几乎必然的统计特性。
举个例子，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然中包含着某种必然。
随着计算机的处理能力的日益强大，你能获得的数据量越大，你能挖掘到的价值就越多。
实验的不断反复、大数据的日渐积累让人类发现规律，预测未来不再是科幻电影里的读心术。
如果银行能及时地了解风险，我们的经济将更加强大。
如果政府能够降低欺诈开支，我们的税收将更加合理。
如果医院能够更早发现疾病，我们的身体将更加健康。
如果电信公司能够降低成本，我们的话费将更加便宜。
如果交通动态天气能够掌握，我们的出行将更加方便。
如果商场能够动态调整库存，我们的商品将更加实惠。
最终，我们都将从大数据分析中获益。
四、结束语。
Here's the thing about the future.关于未来有一个重要的特征
Every time you look at it,每一次你看到了未来
it changes because you looked at it.它会跟着发生改变 因为你看到了它
And that changes everything else.然后其它事也跟着一起改变了
数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键。
祝每一个DMer都挖掘到金矿和快乐：）
G. 大数据时代的产生背景
一、大数据时代城市管理的机遇：
首先,有利于数字化城市建设。城市化过程中出现的管理问题，传统的城市管理方式早已对我国出现的城市问题束手无策,在大数据时代到来的背景下,数字化城市建设就呼之欲出。
其次,有利于电子政务建设。长期以来,我国政府在处理公共事务时都基本采用了传统的处理方式,纸质化的模式占据了主要地位。随着信息技术的不断更新以及大数据时代的到来,电子政务也随之应运而生。由于大数据时代的特点以及不断更新发展,电子政务的形式也不断得到更新。
最后,有利于智慧城市建设。智慧城市建设则是在大数据技术上产生的城市建设和管理方案。可见,大数据时代的到来更加有利于我国的智慧城市建设,为智慧城市的最终建成提供真实可靠的信息基础。会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
二、大数据时代城市管理的挑战 ：
大数据时代,机遇存在的同时也不可避免会遇到许多挑战,数据开放不足、数据共享不足、数据质量不优等等都面临着严峻的挑战。
首先，数据开放不足。数据是信息的重要载体,信息的公开在一定意义上就是数据的公开。在所有的数据公开中,政府相关数据公开尤为引人瞩目。国外早就对数据公开确立了“公开为原则,不公开为例外”的原则,我国也有类似规定,但是真实执行情况令人堪忧。
其次，数据共享不足。就目前来看,谁掌握了大量真实可靠的信息,谁就掌握了主动权,信息在一定程度上就是权威的象征,权力和利益的象征。再者,政府各部门大部分存在利己倾向, 信息就会在一定程度上难以实现真正共享。另外,因为信息化很不平衡,各地各部门使用的信息技术标准很难统一,最后导致数据孤岛的现象也并非个例。
然后，数据质量不优。数据质量问题直接影响依靠数据获得的信息的真实有效性,最终影响整体决策的有效性。数据质量主要包括数据的真实性、完整性和有效性。数据在收集、整合、存储和使用四个阶段当中,每个阶段都极有可能出现数据质量问题。在我国城市管理中,各级各部门每天都会面对大量繁琐的数据,数据收集渠道主要有下级单位上报数据、调查统计、普查等等,每一个渠道也同样会有很多因素影响数据质量。
H. 2008年，奥巴马的竞选中应用了哪些"大数据"元素
巴马的演讲，既激情四射、振奋人心，又能保证言简意赅、主题突出。这种集传道士和推销员于一身的演讲技巧，再经过媒体的放大，便能产生明星效应。奥巴马成功当选美国第44任总统，也是美国历史上第一位黑人总统。美国新一代的变革即将来临。奥巴马“变革”是又一个“罗斯福新政”的开始吗？奥巴马上台面临的金融和经济危机从程度上虽不能与罗斯福上台时相比，但却是罗斯福之后历任总统面临的最严重的危机。次贷危机引发的金融危机摧毁了很多美国家庭在过去十多年以来积累起来的财富，能否尽快稳定市场和稳定投资者的信心，决定了奥巴马是成为像罗斯福那样的民族英雄，还是昙花一现的黑人总统。2008年11月5日正午，美国作出了一个伟大的决定，历史上第一次，一个黑皮肤的人掌握了世界的权力之巅。而在仅仅12年前，他还只是一介平民；4年前，他的职务不过相当于中国一位普通的省人大代表。35岁才步入政坛的奥巴马，没有显赫的身世背景，没有各级领导的亲切关怀，甚至也不曾从基层干起接受常年的培养和考验，是什么令他如此平步青云1、党内初选奥巴马宣布参选贝拉克·奥巴马于2007年1月16日宣布，他有意参加2008年的总统竞选。他已于当天向美国联邦选举机构提交了有关文件，并成立一个委员会，以评估他参加总统竞选的可行性。奥巴马16日在其网站上发表声明说，数月来他一直在考虑是否参加2008年的总统选举，但参加与否不会取决于媒体宣传和个人抱负。过去6年中，联邦政府所作的决定以及所忽视的问题使美国处于一种非常不安全的境地，美国陷入了一场本不应该发动的“不幸的、代价高昂的”战争，而身在华盛顿的领导人却不能以一种实际的方式进行合作。希拉里宣布参选而在1月20号，前总统克林顿的妻子希拉里在其个人网站上宣布参加2008美国总统大选。她的竞选标语是：我来了，为胜利而来。双方斗争激烈由于双方在党内支持者众多，一场激烈的抢票大战必不可少，绝不逊色于之后的总统选举。奥巴马主攻年轻选民，特别是通过网络。在2007年3月，奥巴马在“Yahoo!Answers”（Yahoo!知识+的美国版）发表题为《?》（如何吸引人参与民主运动？）的问题，回复量超越17,000个。之后他还在社交网站Facebook开了一个帐户，版面很受欢迎。而希拉里最大的优势是丈夫克林顿和本身身为女性，容易吸引女性选民的目光。当一位民意测验专家马克·迈尔曼让10位黑人妇女选出她们心中的政治英雄时，有8个人选了希拉里。奥巴马初选获胜，希拉里退选经过一系列的拉票，美国当地时间2008年6月3日，美民主党总统竞选人奥巴马宣布他在该党初选中胜出，获得民主党总统候选人提名。到了6月7日，希拉里正式宣布停止竞选，呼吁她的选民转而支持党内初选胜出者奥巴马成为总统。2、提名副总统及接受党内提名2008年8月23日，奥巴马宣布由65岁的德拉瓦州资深参议员乔·拜登（JoeBiden）成为民主党的副总统候选人。奥巴马竞选网站说：“拜登带来了大量的外交政策经验，让人钦佩的跨党派阵营合作记录，还有直接的事模式。”分析认为拜登的外交经验有助奥巴马执政，但选择政坛老手为竞选伙伴，将削弱奥巴马强调变革的正当性。8月28日，奥巴马在丹佛Invesco露天足球场接受民主党总统候选人提名，成为美国两党历史上第一位黑人总统候选人。而这一天亦是马丁·路德在华盛顿林肯纪念堂前演讲“我有一个梦”的四十五周年纪念日。奥巴马在演讲中勾画了他的执政蓝图，涉及经济、外交、恐怖主义、贫困、气候变化和疾病等二十一世纪的挑战。3、投入总统选战赢得党内初选后，奥巴马开始了他的竞选活动。特别是针对共和党传统州分和摇摆州（特别是票数极多的州），像俄亥俄州、印第安纳州、佛罗里达州、宾夕法尼亚州等。取得了不俗的成绩，在多个州分的民意调查显示奥巴马由之前的落后局面反超共和党候选人麦凯恩。面对奥巴马主动出击传统“红州”，且几乎之后的民意调查都领先于自己，麦凯恩背水一战，在临近总统选举日期，逐渐逼近奥巴马，但差距仍在5%~10%左右。4、赢得总统选举2008年11月4日美国东部时间晚间11时，计票结果显示奥巴马以349票大幅领先麦凯恩163票当选为美国第56任总统。他也成为美国历史上首位非裔美国人总统（奥巴马之父是肯尼亚公民，奥巴马之母是美国白人）。之后奥巴马在竞选总部芝加哥发表了题为“美国的变革”的胜选感言，称美国变革的时代已经到来。他谈到了包括胜选的意义、麦凯恩、家庭、外婆的去世、两党合作、美国的力量。