大数据是石油

1. 大数据真的是“未来的新石油”

大数据真的是“未来的新石油”

当前IT业最热门的话题应该就是大数据了，这个两年前才被炒作起来的概念，现在已无处不在，占居了互联网的半壁江山，它与云计算一起成为未来信息技术发展最重要的内容。处于IT行业的人们，如果不知道大数据，不了解大数据所创造的那些神话般的故事，就好象已经跟不上信息技术的发展，成为时代的落伍者了。

那么什么是大数据？现在还没人能给出一个确切的答案，它同云计算一样，是一个形象但却笼统的概念。大家一致的理解是从4V的角度来描述这一概念的内涵。所谓4V就是说大数据具有体量巨大（Volume）、种类繁多（Variety）、实时处理（Velocity）、数据真实（Veracity）的特性。信息技术的发展，使互联网遍布世界的每个角落，各种各样的信息都可通过网络进行传播。世上所发生的每件事情，人类所进行的每项思考，社会所进行的每点进步，知识所增加的每种内容都可通过互联网进行汇集。网络技术、传感技术与射频技术使各种事物都可产生大量数据。事物的内容、时空、方位、特性都可转化为数据，这些经济的、社会的、规范的、杂乱的、简单的、复杂的等各式各样的数据代表了不同事物的内涵。代表不同事物的海量数据可以通过网络进行汇集，汇集后的整体数据反应了事物的本质特性或发展趋势。而这种反应事物本质特性或发展趋势的数据具有一定的价值，通过高性能计算机的数据提取、价值分析、数据表达等大数据技术，可以从大数据中把这些价值提取出来。不同的需要可以提取出不同的价值，所有的价值都可以为人类服务，这就是大数据的本质。

大数据，这一鲜明而又形象的概念之所以如此引人注目，是因为许多像亚马逊、谷歌这样的大公司为它杜撰了无数神话般的故事。每一个故事都告诉人们，大数据具有无所不能的洞察力。它可以象伟大的先知一样预测未来，可以利用玄妙的相关关系推测人的喜好，可以利用宠大的数据窥探人的内心，可以利用趋势分析引导人的行为，甚至可以用事物发展曲线来控制人的思维，改变人类社会的发展方向。

大数据利用最多的地方是商业领域。大家都知道尿布与啤酒的故事，通过大数据分析，找出这两个毫不相干的事物之间的关联，利用推荐系统，向不同用户提供不同的产品推销方案，提高产品的销售量；另一个众所周知的故事就是通过购物记录来分析少女怀孕的案例，通过分析用户的购买行为，推测用户的现在状态与未来需求。尽管这一案例因为侵犯别人隐私而广受批评，但却说明了大数据分析在商业领域的价值。还有无数这样或那样的故事，都说明大数据在分析人们的喜好与购买习惯上的巨大作用，利用这种分析，商家可以更好地进行营销。权威的市场调查机构说，大数据将会改变未来的商业规则，实时竞价系统（RTB）、更加智能的推荐系统以及基于大数据的商业智能分析（BA），使企业能够生产更加适合用户喜好的产品，能够找到向用户推销产品更好的方法，能够为用户提供更好的服务，能够利用有限的资源产生更多的效益，大数据的这些功能将会使经济社会更快更好地发展。

大数据的另一个应用领域就是社会公共领域。利用大数据，政府可以更好地管理社会，为社会提供更好的公共服务；教育部门可以更好地获取与传播知识，提高民众的素质；卫生部门可以预测重大流行疾病的发生，提前作出防范预警；安全部门可以监控社会状况，确保国家不受破坏。谷歌公司前几年利用大数据绘制了“世界流感地图”^[1]用来帮助人们了解世界各地流感的发病情况；利用大数据预测禽流感在各地的爆发趋势，为民众提供预防建议，向卫生部门提供监控资料。在公共安全领域，大数据也有巨大的作用，如美国就建立了基于各种传感技术与大数据技术的网络监控系统，预测重大社会公共事件的发生，比如爆发大规模游行活动、可能遭受的恐怖袭击等。

随着科技的发展，大数据的应用也延伸到个人服务领域。穿戴式设备的产生标志着信息技术的发展到了以人为中心的阶段。像谷歌眼镜、苹果手表这样的穿戴式设备把技术与人体结合在起来，使人类可以更加便捷得获取信息。这些穿戴式设备利用大数据为个人提供学习、生活、健康等方面的数据服务。大数据通过穿戴式设备发挥其作用，同时穿戴式设备本身也成为收集数据、构建大数据的来源。穿戴式设备作为一种工具，大数据是其服务的内容。

大数据有如此巨大的作用，让一些信息技术发达的国家倍加关注，很多大型信息公司也把大数据当作公司未来发展的重点。美国是当今世界最为重视大数据发展的国家，也是利用大数据较好的国家。美国政府把大数据作为未来信息技术发展的重中之重，认为大数据将引起信息技术发展的革命，改变未来社会的发展模式。2012年3月美国政府发布了《大数据研究和发展倡议》，把大数据称作“未来社会发展的新石油”，把发展大数据研究提到国家战略的高度上来。为掌控这一“未来的新石油”，引领世界技术发展方向，联邦政府制定了大数据研究发展计划，推进相关研究机构进行科技研究和创新发现。改进从海量数据中提取价值的方法，提高从数据中获取知识的能力，加速美国在科技领域中的前进步伐，确保美国在信息技术领域的领先地位。美国政府指定了国家科学基金（NSF）、国家卫生研究院（NIH）、能源部（DOE）、国防部（DOD）、国防部高级研究计划局（DARPA）、地质勘探局（USGS）6个联邦部门来负责推进大数据的研究，并计划投资2亿美元用来研究收集、储存、保留、管理、分析和共享海量数据的技术。

政府的投入与政策的支持，使那些本来就注重大数据研究的公司更加主动，纷纷加大对大数据研发与利用的投入，取得了不菲的成绩。如Apache基金会开发的Hadoop分布式处理系统，经过不断发展完善，现已成为大数据处理的标准结构；微软开发的Windows Azure平台使大数据的处理更加人性化、简易化；还有其它公司，经过不断的创新研究让大数据技术更加完善、更加实用。技术的发展使大数据的价值更加突显，人们对它的期望也不断提高。据说谷歌公司利用大数据不但可以预测流感的发生，也可预测美国的经济复苏情况；不但可以预测明年服装的流行色，也可预测某位娱乐名星是否可以红遍世界。谷歌公司最近一个广为流传的大数据案例就是，在2013年的奥斯卡电影节上，它预测准了大部分的奥斯卡奖项得主。Facebook也是利用大数据的典型公司，大数据是这家社交网站最大的价值所在。通过对大量社交信息的分析，Facebook可以了解用户的生活习惯与购买喜好，利用定向推荐广告，为这家年轻的公司每年创造上百亿的产值。

还有许多真实的或杜撰的有关大数据的美妙故事，每一个都反应了大数据在某一领域的巨大作用，这些故事的汇编，给人们描绘了一个大数据主宰的奇幻世界。在那里，人们利用大数据可以预测任何一件事情的发展趋势，可以完成一切不可能完成的事情。每一个人都是先知、都是智者，在大数据的支持下，每一个人都通天文、晓地理，前知一千后知八百，如齐天大圣般十八般武艺样样精通。然而真的是这样吗？

可惜的是，理想很丰满，实现很骨感。至少在当前大数据还没有那么大神奇，就连谷歌公司所说的利用人们的检索词可以用来预测流感的发展这种人人都相信的故事也没能发生。当H7N9在中国出现的时候，谷歌没能给出任何有关这一流感发生与发展的预测，更不用说事先给民众发出预警，提醒人们防范了；欧洲的金融危机持续了五六年，至今没有一家大数据公司能预测这场金融危机何时结束，就连未来是向好还是向坏发展的方向都不能预测；在商业领域，个性化广告推荐这种理应可以做好的事，大数据也没能表现出其超强的功用。最近经过大数据改造的淘宝网个性推荐系统没比五六年前好多少；号称利用大数据使图书销售量大幅增加的亚马逊网站上推荐的书，没有一本是我喜观的。

2013年4月15号，波士顿马拉松比赛现场发生了震惊世界的恐怖袭击^[4]。美国人悲伤地发现，那些基于现代信息技术与大数据分析的网络监控系统，并没能确保国家的安全，大数据分析在防范恐怖袭击方面，并不象人们所期望的那样有效。看来这个被称为未来技术竞争至高点的大数据，在当下还不能如人们所期望的那样有用。

产生如此悲观想法的原因，一是虽然大数据可能代表了未来信息技术发展的方向，具有光明的前景。但是在人们的意识与相关的配套技术还没有发展起来的情况下，大数据还不能发挥其巨大作用。二是大数据还没有一个确切的定义，它所具有的内涵还不能被清晰地诠释。美国把大数据被称作“未来的新石油”，然而石油是不可再生的，数据却是随时随地都在产生，越是往后产生的数据越多，数据的准确性越高，对数据的处理能力越强，这让人们对现在就收集并占有大量数据的必要性产生怀疑；还有从大数据中提取价值首先要有需求，没有需求就不知道从大数据中提取什么，当人们的思维还没有发展到可以完全掌控数据，还不知道大数据到底有什么用处时，很难对其产生需求；没有需求就没有数据收集的方向，没有方向的收集就会造成巨大浪费；在方向不明的时候，唯一可做的就是收集所有可能收集到的数据，然而这样不但会给数据的存储、管理造成具大的成本，也会产生一些法律的问题，例如是否会侵犯他人隐私等。再有，随着科技的发展，穿戴式设备会不断智能化并在生活中得以普及，这种以人为中心的智能设备本身就会不断分析所取得的数据，提取个人的喜好等特性，学习与适应人个的品性，具有人的品性特征，这样就使得从大数据中分析人的品性失去了意义。

以上这一切都让人们对大数据的发展未来产生了怀疑。因此，当美国制定大数据发展战略，把它看成“未来的新石油”时，世界其它国家虽然也十分重视这一技术的发展，却没有制定相关发展战略。这有可能是其它国家在大数据技术方面落后于美国，还不能制定明确的发展目标，也可能是人们对这一技术的发展前景还没有一个清楚的认识，无法确定大数据是否真的可以引领未来技术的发展方向。因此，我们还是暂时忘了大数据吧！别再关注那些炙热的概念炒作，静下心来认认真真地想一想大数据的真正内涵。

以上是小编为大家分享的关于大数据真的是“未来的新石油”的相关内容，更多信息可以关注环球青藤分享更多干货

2. 站在“大数据”的台风口，石油行业能起飞吗三分钟带你全面了解

加大油气勘探开发力度、保障国家能源安全是当前面临的迫切任务。但随着优质资源的不断开发，剩余资源开采难度越来越大，成本越来越高，迫切需要创新技术提升油气勘探开发效率和效益。在大数据、人工智能( artificial intelligence，AI)、5G、云计算、物联网等技术推动下，油气田的智能化水平将会越来越高，这既是油田降本提质增效的有效途径，也是油气技术发展规律的必然趋势。

1、大数据技术定义

2012年兴起的“大数据”潮流，让“Big Data”这个IT圈子里的名词一下风靡了各个行业。虽然大数据的重要性得到了大家的一致认同，但是对大数据的理解却众说纷纭。大数据是一个抽象的概念，除去数据量庞大这一特征，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。

高德纳分析员Doug Laney曾于2001年在一次演讲中指出，数据增长有3个方向的挑战：数量（volume），即数据多少；速度（velocity），即资料输入、输出的速度；种类（variety），即多样性，这3方面的特征即大数据最先提出的3V模型。2011年，在国际数据公司（IDC）发布的报告中，大数据被定义为：“大数据技术描述了新一代的技术和架构体系，通过高速采集、发现或分析，提取各种各样的大量数据的经济价值。”大数据的特点可以总结为4个V，即volume（体量浩大）、variety（模态繁多）、velocity（生成快速）和value（价值巨大但密度很低）。这种4V定义得到了更广泛的认同，指出了大数据最为核心的问题，就是如何从规模巨大、种类繁多、生成快速的数据集中挖掘价值。

2、大数据技术的发展

大数据是人工智能的血液，当前大数据、云计算、人工智能以及区块链技术之间的关系密不可分，也被称作数据智能。比如，先进的工业互联网，其中既有区块链技术也有大数据技术，还有云计算技术，三者合成一体，又衍生出了人工智能和物联网的概念。

在大数据基础上的人工智能，目前已进入数据智能的深度学习时代，其快速发展引起了 社会 和产业的颠覆性变化。从大数据和人工智能技术全行业的发展来看，目前美国仍处于领先地位，中国紧随其后，且具有赶超趋势。中国在人工智能相关的论文发表总数和高引论文数量实现对美国的超越，但在人工智能理论发展和技术方向的引领方面美国还占据支配地位。

3、大数据技术流程

大数据处理的关键技术流程主要包括：数据采集、数据预处理（数据清理、数据集成、数据变换等）、海量数据存储、数据分析及挖掘、数据的呈现与应用（数据可视化、数据安全与隐私等）。

4、大数据的核心算法

大数据的核心算法可以分为监督学习（有标签）和无监督学习（无标签）两大类，其中：

监督学习分为回归和分类：即给定一个样本特征，希望预测其对应的属性值，如果是离散的，那么这就是一个分类问题，反之，如果是连续的实数，这就是一个回归问题。无论是分类还是回归，都是想建立一个预测模型，给定一个输入，可以得到一个输出。不同的只是在分类问题中，是离散的；而在回归问题中是连续的。

无监督学习分为聚类和降维：即如果给定一组样本特征，我们没有对应的属性值，而是想发掘这组样本在维空间的分布，比如分析哪些样本靠的更近，哪些样本之间离得很远，这就是属于聚类问题。如果我们想用维数更低的子空间来表示原来高维的特征空间，那么这就是降维问题。聚类也是分析样本的属性，事先不知道样本的属性范围，只能凭借样本在特征空间的分布来分析样本的属性。这种问题一般更复杂。而常用的算法包括 k-means （K-均值），GMM（高斯混合模型）等。

5、大数据在油气勘探开发领域的应用

目前大数据技术在地质分析、测井解释、地震解释、甜点预测、地质建模、油藏模拟、钻井、压裂、采油、产能预测等方面均开展了大量 探索 性研究，收到了良好的效果。但是目前，大数据与油气行业相关领域的融合还处于起步阶段，面临来自数据、算法和地下未知因素的诸多挑战。未来在大数据、人工智能、5G、云计算、物联网等技术推动下，油气田的智能化水平将会快速发展，这既是油气技术发展规律的必然趋势，也是油田降本提质增效的有效途径。在发展的过程中，智能油气田建设需要油气勘探开发与大数据、人工智能、云计算以及区块链等技术的深度融合，进而催生一批油气田领域的颠覆性技术，解决油气勘探开发的技术需求，提升油气田勘探开发的经济和 社会 效益。

（ 下期将向您详细解读大数据在油气行业的具体应用 ）。

注：本文部分参考资料来源如下：

李阳，廉培庆，薛兆杰，等．大数据及人工智能在油气田开发中的应用现状及展望[J]．中国石油大学学报(自然科学版)，2020，44(4):1-11

Gantz J，Reinsel D.Extracting Value from Chaos. IDC iView Report，2011

Team O R. Big Data Now：Current Perspectives from O’Reilly Radar.Sebastopol：O’Reilly Media，2014

Grobelnik M. Big data tutorial. http：//videolectures.net/eswc2015grobelnik big data/，2012

Walters, R. J., Zoback, M. D., Baker, J. W. 2015. Characterizing and Responding to Seismic Risk Associated With Earthquakes Potentially Triggered by Fluid Disposal and Hydraulic Fracturing. Seismol. Res. Lett. 86 (4): 1–9. https:// doi.org/10.1785/0220150048.

周松兰．中美欧日韩人工智能技术差距测度与比较研究[J]．华南理工大学学报 ( 社会 科学版)，2020，22(2):10-22．

HINTON G E，OSINDERO S，TEH Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2016，18: 1527-1554．

LECUN Y，BOTTOU L，BENGIO Y，et al．Gradientbased learning applied to document recognition[J]．Proceedings of IEEE，1988，86( 11) : 2278-2324．

BENGIO Y， SIMARD P，FRASCONI P．Learning longterm dependencies with gradient descent is difficult[J]．IEEE Transactions on Neural Networks，1994，5(2) :157-166

3. 北京大学新结构经济学研究院院长林毅夫什么是新的生产要素是21世纪的石油

大数据。

大数据被认为是“未来的新石油”，也被比喻为21世纪的“钻石矿”。大数据工程技术人员从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护。

互联网、大数据、云计算、人工智能、区块链等技术加速创新，日益融入经济社会发展各领域全过程，数字经济发展速度之快、辐射范围之广、影响程度之深前所未有，正成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。弊搭

发展与安全，是数字技术在深度融合实体经济、赋能传统产业转型升级、催生新产业新业态新模式过程中，必须高度重视的问题。慎埋规范与健康发展，才是我国数字经济不断做强做优做大的正确方向。

4. 大数据技术主要学什么课程

大数据技术需要学习的课程有以下几个：数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践、离散数学、概率与统计、算法分析与设计、数据计算智能、数据系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析等键携。

5. 大数据被称为21世纪的石油和金矿它具有哪四大特征

价值，多样，大量，高速。
石油是指气态、液态和固态的烃类混合物，具有天然的产状。石油又分为原油、天然气、天然气液及天然焦油等形式，但习惯上仍将“石油”作为“原油”的定义用。
金矿指金矿石或金矿床（山）。金矿石是具有足够含量黄金并可工业利用的矿物集合体。金矿山是通过采矿作业获得黄金的场所，是通过成矿作用形成的具有一定规模的可工业利用的金矿石堆积。