油气大数据分析利用

Ⅰ 如何进行大数据分析及处理

1.可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。

另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4. 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。

语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5.数据质量和数据管理。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。

数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。

处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。

一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。

大数据的处理

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。

比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

Ⅱ 油气地质资料数字资源服务的创新方式与保障条件

赵传玉

(中国石油化工股份有限公司石油勘探开发研究院)

摘要 油气地质资料数字资源服务的常规方式包括网络目录检索、网络全文浏览与下载两种； 创新方式则包括数字地图导航服务、在线绘图与对比服务、移动化利用服务、数据挖掘与知识服务以及大数据服务5种。油气地质资料数字资源服务的创新方式，需要具备丰富的数字化资源、完善的档案管理信息系统、大容量的网络带宽以及具有大数据思维的档案工作者4个方面的保障条件。

关键词 油气地质资料 数字资源 利用服务 数字地图 数据挖掘 知识服务 大数据

0 引言

油气地质资料是对石油天然气勘探开发地质资料的简称，是指在石油天然气勘探开发生产和科研过程中形成的文字、图表、数据、声像等形式的原始地质资料，以及成果地质资料和岩心、岩屑、光薄片等实物地质资料。《地质资料管理条例》及其实施办法发布十余年来，油气地质资料的数字资源建设与服务工作经历了一个从无到有、不断壮大的过程。

目前已经比较成熟、正在被各油气田勘探开发单位广泛应用的油气地质资料数字资源服务方式，主要包括网络目录检索、网络全文浏览与下载两种方式。网络目录检索是指通过网络提供油气地质资料的案卷级与文件级目录信息的检索服务，授权用户可通过这种方式查找到馆藏中的任何一个案卷或一份文件。网络全文浏览与下载是指通过网络提供油气地质资料的全文浏览与下载服务，该项服务在目录数据库建设的基础上开展，授权用户可在线浏览地质资料的主要内容，也可下载至本机进一步利用。

1 油气地质资料数字资源服务的创新方式

随着IT技术的不断发展和资源建设程度的不断推进，油气地质资料数字资源服务方式也要不断创新。结合工作实际及国内外的相关文献，笔者总结了如下5种创新服务方式。

1.1 数字地图导航服务

数字地图导航服务，是指利用基于GIS(Geographic Information System，地理信息系统)导航，以地质资料内容对应的工作区的地理坐标为检索点，向用户提供某一特定地理区域所包含的全部油气地质资料的一种服务方式，它是网络目录检索、全文浏览与下载的一种有益补充，要在地质资料检索系统上集成GIS服务方可实现，目前比较成熟的平台有ArcGIS平台、Google公司提供的Google Earth服务等。

油气田勘探开发工作，必须充分占有目标区域的全部资料，才能有的放矢深入研究。用户使用常规的检索方法，以题名、作者、关键词等作为检索词，往往难以覆盖目标区域的全部资料。地质资料馆藏机构通过对资料内容涉及的空间数据进行著录并在检索系统中集成GIS导航服务等方式，不仅让用户可以直观的掌握目标区域的地理与地形情况，还可以通过GIS导航平台提供的点选和圈选功能，查询该区域内的全部油气地质资料。

笔者所在单位通过建立空间数据库，著录油气地质资料内容对应的工作区的地理坐标信息，并在检索系统中集成GIS平台，实现了对油气地质资料的GIS导航查询服务。用户登录后，只需框选某一特定区域，即可查询这一区域内中石化各油气田勘探开发单位形成的油气地质资料情况，极大地提高了查全率与查准率，效果反馈良好。

1.2 在线绘图与对比服务

这是一种全新的服务方式，主要是以馆藏的各类数据体为基础，通过管理信息系统与检索系统，提供对这些数据体的自定义可视化以及对比服务。

以测井数据体为例，测井是指利用岩层的电化学、导电、声学、放射性等地球物理特性，测量地球物理参数的过程。测井的方法众多，也形成了多种类型、多种格式的测井数据体，而这些测井数据体一般都不便直接阅读，必须形成测井曲线图才能方便利用。在线绘图与对比服务，就是将馆藏每一口井的全部测井数据体，上传至存储服务器，并与相应的案卷级目录信息、文件级目录信息链接，用户在浏览时，可根据自身需要，选择一口井的某一类或某几类测井数据体，或者多口井的某一类测井数据体，利用管理信息系统提供的在线绘图功能，实时绘制测井曲线图并进行对比。该服务方式可以让用户自行确定测井曲线种类、选择图件参数、图件显示方式等，大大提高了利用效率和利用效果。

目前中石化油气勘探开发源头数据采集系统中的测井数据采集系统，采集了测井数据体后，就是通过在线绘图、在线对比、在线统计等方式来展示采集结果的，效果非常好。这一系统的成功实践，为油气地质资料数字资源的在线服务提供了一种借鉴思路。

1.3 移动化利用服务

移动互联网飞速发展，各种业务在移动设备上的应用越来越成熟。笔者认为，随着手持移动设备(手机、平板电脑等)硬件配置越来越高，对复杂任务的处理能力与处理速度大幅提高；3G、4G等高速移动互联网的进一步普及，为油气地质资料利用服务的移动化提供了机遇。英国地质调查局在2010年9月发布了其第一个基于iOS系统的APP——iGeology，用户可借助该APP在英国任意地方通过移动设备检索1：50000地质图及相关数据，利用效果显著。全国地质资料馆在2013年也分别发布了基于iOS和Android系统的手机客户端，可以直接通过手机查询地质资料并发起资料订购。

对于油气田勘探开发单位而言，我们可效仿上述成功经验，开发专门的第三方应用程序(APP)，通过局部推送、切片技术、鹰眼技术等手段，解决大容量电子文件在移动互联网上的推送和在手持移动设备上的显示等问题，经授权和认证后，可根据勘探开发科研生产一线工作者的需要，将其急需的油气地质资料数字资源，推送到他们的手持移动设备上，提高服务与支撑效率。

1.4 数据挖掘与知识服务

数据挖掘一般是指从大量数据中自动搜索隐藏于其中的有着特殊关系性信息的过程。油气地质资料管理信息系统中，既保管有丰富的电子资源，又拥有庞大用户群的利用记录，这两者对计算机而言都是大量的数据，为提供数据挖掘与知识服务奠定了基础。

数据挖掘与知识服务包含了两个方面的含义，一方面是指对馆藏油气地质资料中的有用数据进行挖掘。对地质现象的认识，是随着相关资料档案的丰富、技术的更新、方法的优化而不断精确的。馆藏油气地质资料是在多年的勘探开发工作中不断形成的，其包含了广大勘探开发工作者对地质现象认识的不断总结和提炼。可以通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法，对地质资料中有关某一特定区域、某一特定地质现象的数据进行深入挖掘、分析，将其中的隐形知识挖掘出来转换成显性知识并提供服务。另一方面是指对用户利用数据的挖掘。用户在管理信息系统中，检索档案目录、浏览下载档案电子文件时，都会形成大量的有关利用的数据，包括利用时间、利用热点、利用兴趣方向等，对这些数据进行挖掘，可针对不同用户的兴趣点，提供个性化、有针对性的服务。对用户利用数据的挖掘，分为3个层次，一是对全体用户利用数据的挖掘，分析全体用户最感兴趣的利用服务内容、方式、方法等，以促进利用服务工作的改进和优化。二是对特定群体用户(如某一单位、某一研究室)特定时间段利用数据的挖掘，分析他们的阶段性利用兴趣，可为有针对性提供主动上门服务提供方向。三是对个体用户利用数据的挖掘，可分析该用户的研究方向、倾向的服务方式等，从而为该用户提供更好地数据资源利用服务。

笔者所在的单位已对用户利用数据进行了第一、三两个层次的挖掘，我们通过管理信息系统统计用户的搜索关键词、浏览与下载兴趣等，分析阶段时间内全体用户以及个体用户利用兴趣的Top 10，在用户检索界面进行动态显示与实时更新，总体效果不错。目前我们正在尝试对用户利用数据进行第二层次的挖掘，以便更好地提供利用服务。

1.5 大数据服务

大数据时代已经来临，借助飞速发展的信息技术和硬件技术，我们日常生活的衣食住行都在不断形成大数据，这已是社会共识。在目前的油气田勘探开发各项活动中，形成的数据量非常大，也属于大数据的范畴；各级地质资料馆(室)馆藏的油气地质资料及其数字资源，其数据量更加庞大。面对如此庞大的数字资源，单纯提供个体数字资源的服务将逐渐不符合油气田勘探开发工作的实际，我们要具备大数据的思维，将馆藏全部数据资源视为一个整体，提供整体服务，通过寻找各项地质工作与油气田勘探发现、油气田开发产能建设之间的相关关系来提供服务。

据笔者目前掌握资料来看，大数据服务尚未在油气地质资料部门开展，但Google、Visa等掌握了大量数据的公司进行大数据服务的案例屡见报端。中石油、中石化、中海油等公司都掌握了大量的油气地质资料数字资源，提供大数据服务来促进油气勘探发现与油气田开发产能建设，势必不会太遥远。

2 油气地质资料数字资源服务的保障条件

油气地质资料相较其他参考资料，具有原始性与系统性两大优势。原始性是因为其是油气田勘探开发工作的原始记录，系统性则是因为其系统记录了各项油气田勘探开发活动的过程和结果。基于这些优势，必须重点开展油气地质资料的数字资源服务，创新服务方式。结合工作实际，笔者认为创新服务方式，要具备如下几方面的保障条件。

2.1 基础条件——丰富的数字化资源

丰富的数字化资源是开展数字资源服务的基础条件。丰富的数字化资源包括两个方面，一是数字化的纸质地质资料，主要是指利用扫描技术、OCR技术、存储技术等技术手段，形成馆藏纸质地质资料的数字化版本；二是各种数据体，主要是指在物化探、钻井、测井、录井等油气田勘探开发工作中，利用各种仪器采集和(或)形成的大量的数据体，及其解译数据。这些数据体是对地质现象的原始记录，是数字资源服务的主体，对其利用需求远大于对数字化的纸质地质资料的利用需求。而这些数据体往往是各项工作的中间性成果，对其归档的控制力度稍弱，需要各级档案部门采取切实可行的归档监管措施，确保这些数据体及其解译成果能及时、全面地归档，以筑牢油气地质资料数字资源服务的基础。

2.2 技术条件——完善的地质资料管理信息系统

开展数字资源服务，完善的地质资料管理信息系统是技术保障。无论是数字化的纸质地质资料，还是各种数据体，都是以代码形式存储在光盘、磁盘等光磁载体上，必须借助完善的地质资料管理信息系统，方能有效地开展利用服务。完善的地质资料管理信息系统应该具备两方面的基本功能，一是能作为油气地质资料日常管理的工具，可提供从归档、整理到编目、著录检索、统计等各个基本环节的信息化管理，提高日常管理工作水平；二是能作为用户利用服务的终端，用户无论是进行目录、全文检索，还是全文浏览与下载，都可借助于该管理信息系统实时并动态显示。

2.3 环境条件——大容量的网络带宽

从笔者所在单位的情况来看，通过网络提供地质资料利用服务近年来发展迅猛，在部分单位的地质资料部门已成为提供利用服务工作的主要方式。油气田勘探开发工作中形成的地质资料，大部分是技术报告以及各种技术图件，其电子文件体积一般都比较大，动辄在几百兆字节(MB)甚至吉字节(GB)，要将这些大体积的电子文件通过网络提供利用，大容量的网络带宽必不可少。

2.4 智力条件——具有大数据思维的地质资料工作者

任何一项工作的正常开展，都必须有一定数量的专业技术人才为依托。笔者认为，要充分开展油气地质资料数字资源的利用服务工作，具有大数据思维的地质资料工作者是必不可少的智力条件。一方面，他们可从资料档案专业的角度，按资料档案工作的规律与特点开展油气地质资料数字资源的利用服务工作；另一方面，他们还可从数据的角度，开展对油气地质资料数字资源中丰富数据的挖掘、提炼与整合，结合油气田勘探开发业务工作，提供有针对性的内容服务；第三方面，他们还可从大数据的角度，将油气地质资料数字资源作为一种大数据来整体考虑，通过IT部门的配合，来发掘各类数字资源与油气田勘探开发工作的相关关系，从而提供其他利用服务方式所无法提供的数据与知识服务。

参考文献

[1]葛红.数字时代档案信息资源的开发利用[J].科技与企业，2010(6)：84～85.

[2]涂子沛.大数据[M].南宁：广西师范大学出版社，2012.

[3]Q/SH 0167-2008 石油天然气勘探与开发油气地质资料立卷归档规则[S].2008-02-25.

[4]British Geologecal Survey.British Geological Survey Annual Report 2010-11[EB/OL].2011[2013-02-25].http://www.bgs.ac.uk/downloads/start.cfm?id=2252.

Ⅲ 大数据在各行各业几乎都站稳了脚跟

大数据时代的到来，改变的不仅仅是传统的商业模式，更深入到人们的生活、工作等各个环节，以及人们的传统观念之中。随着互联网的发展，信息交流也在不断加速，大数据在各行各业几乎都站稳了脚跟，特别是越来越多的政府机构与公司组织都已经把大数据应用作为了重要的一环。
大数据不仅是一场颠覆性的技术革命，更是一种思维方式、行为模式与治理理念的全方位变革。那么，大数据在社会生活中都有哪些运用与实践呢 在瞬息万变的时代，行业信息也显得愈发重要，数据猿编辑在此为您做详细解析。
大数据助推金融机构的战略转型
随着互联网特别是移动互联网的爆发式增长，未来将迎来一个大数据浪潮。在宏观经济结构调整和利率逐步市场化的大环境下，目前国内的金融机构主要表现出盈利空间收窄、业务定位亟待调整、核心负债流失等问题。而大数据技术正是能够帮助金融机构深入挖掘既有数据，找准市场定位，明确资源配置方向，推动业务创新的重要手段。
国务院颁布的《推进普惠金融发展规划(2016-2020年)》中更是直接提到“鼓励金融机构运用大数据、云计算等新兴信息技术，打造互联网金融服务平台。”国内外各金融与类金融机构、互联网金融企业纷纷开始探索大数据的应用，希望大数据可以带来技术与应用上的突破，实现现有风控模型体系的升级，探索基于场景化的新消费金融市场，并提升催收效率、建设互联网深层次大面积获客能力，从而彻底提升国家金融行业的国际竞争力。
大数据提升科技管理系统升级
“在物联网产生之前，或者大的传感器产生之前，我们的采集数据来源于访谈、测量或者是记录在纸上，那个时候我们的数据量比较少，而如今，主要靠科学仪器获取大量源源不断产生的数据，数据产生的量非常大，而且复杂度非常高。”正如中国科学院计算机网络信息中心大数据部主任、CODATA中国委员会秘书长黎建辉所言，从手工记录到仪器采集，大数据正发生着翻天覆地的变化。
在智能汽车研发方面，重要的一项工作就是大数据分析。福特汽车早已把大数据应用到了公司生产的每一个环节里面，无论是商品的价格、消费者理想的汽车状态，还是公司应该生产的车型以及这种车型采购的零部件，抑或汽车应有的设计构造，福特汽车已将大数据应用深入骨髓。车联网时代的到来，让大数据应用于汽车领域越来越广泛。
大数据促进政务大数据共享进程
如今，政务大数据共享还没真正落实，有些政府部门基于风险考虑而不敢将管理数据拿出来与其他部门共享。主要原因是担心共享会带来负面影响和不利后果，要么害怕共享时暴露出本部门原有数据不真实、不精确而问责，要么认为“数据安全与保密比共享更重要”、采取封闭行为更妥当。
大数据时代的到来，给政府管理变革带来了新的契机。2015年8月国务院印发《促进大数据发展行动纲要》明确提出“推动政府数据开放共享”;2016年12月国务院通过了《“十三五”国家信息化规划》，提出要打破各种信息壁垒和“孤岛”，推动信息跨部门、跨层级共享共用。如何推动政府部门数据共享，打破信息壁垒和“数据烟囱”，优化政府管理流程和提升协同治理能力，已经成为当务之急。
大数据加速能源产业发展及商业模式创新
能源大数据理念是将电力、石油、燃气等能源领域数据进行综合采集、处理、分析与应用的相关技术与思想。不仅是大数据技术在能源领域的深入应用，也是能源生产、消费及相关技术革命与大数据理念的深度融合，将加速推进能源产业发展及商业模式创新。随着信息化的深入和两化的深度融合，大数据在石油石化行业应用的前景将越来越广阔。
大数据与能源行业的结合目前主要体现在三个行业：(1)石油天然气产业链与大数据的结合。在油气勘探开发的过程中，可以利用大数据分析的方法寻找增长点，利用大数据平台可以帮助炼油厂提高炼化效率，也可帮助下游销售挖掘消费规律，优化库存，确定最佳促销方案。(2)智能电网：利用大数据实时监测技术监测家庭用电量特征，帮助电力公司调配电力供给，为客户提供最佳用电方案。(3)风电行业：进行风电场分布式风机的在线监测，周期性及瞬时的实时数据采集和在线分析，生成警报、允许维护人员可视化和管理数据，简化大规模监测系统的部署。
大数据推动天文学、微生物研究迈入新阶段
天文学作为一个典型的大数据应用领域，同样需要通过标准化和一系列规范实现全球的天文科学数据的共享与交易。为了解决国际上天文大数据的开放、共享以及数据间的操作问题，天文学家提出了虚拟天文台的构想，这是一个通过先进的信息技术将全球范围内的研究资源无缝透明连接在一起而形成的数据密集型网络化天文研究与科普教育平台。
在谈及大数据对天文学方面的贡献时，中国科学院国家天文台信息与计算中心主任崔辰州表示，探索宇宙的奥秘，大数据正在发挥越来越重要的作用。目前，中科院微生物所正在通过研究和开发云环境下微生物数据存储和计算等一系列关键技术，形成完善的微生物数字资源体系、知识发现平台和大数据服务平台，建立具有国际影响力的微生物数据库，实现我国微生物领域数字资源建设的突破。
大数据助推国家健康医疗服务新模式
当前，随着经济社会发展和人民生活水平的提高，人民群众在健康方面的需求更加迫切和多元化，这就为健康产业和医疗服务新模式新业态构造创造了良好的生态条件，健康医疗大数据以其广泛的应用性和特殊性未来将对经济发展产生重大贡献，必将成为我国国民经济的重要支柱产业。
据悉，6月20日，国家卫生和计划生育委员会副主任金小桃透露，组建以国有资本为主体的三大健康医疗大数据集团公司主要是为了落实党中央“没有全民健康就没有全面小康”及“推进健康医疗大数据应用”的精神，落实国务院办公厅47号文件要求，推动国家健康医疗大数据应用发展。这三大集团将以国家队的形式来承担国家健康医疗大数据中心、区域中心、应用发展中心和产业园建设任务，努力为提高群众获得感、深化医改新动力和增强经济发展新动能作出新贡献。
大数据构建智能交通和推动智慧城市发展
“智能交通”概念的提出，源于日益严重的交通拥堵和出行需求的复杂多元化。但是，在交通数据资源充足的情况下，如何才能真正让数据变“活” 网络地图的智能路线规划、实时路况、路况预测是交通数据价值的最佳体现。
6月14日，WGDC2017全球地理信息开发者大会进入到第二天，网络地图开放平台总经理李志堂、主任架构师张绍文、内容生态总经理刘斌共同出席“空间大数据+智能交通峰会”，从地图大数据、人工智能导航、数据内容升维表达等角度阐述了网络地图在构建智能交通和推动智慧城市发展中的作用。
大数据让人们的生活更加方便快捷
日常生活中，大数据帮助电商平台打造更极致的用户体验，尤其是网购狂欢节，电商由于提前对消费者需求做了充分调研，因此更能抓住消费者的心理，通过大数据优化产品的质量。而方兴未艾的智慧旅游，避免了旅游旺季各大旅游景点人数太多从而降低游客的好感度，特别是网络大数据通过数据分析，及时了解景区内的状况，帮助游客合理安排出行、提供智能服务。
而据经济之声《天下财经》报道，在今年的亚洲消费电子展上，京东、苏宁等企业携大数据与人工智能，打造智慧物流产业链。伴随着电商行业的迅猛发展，消费型物流需求激增，智慧物流有望成为快递业下一个重要的突破口。这些都必将在一定程度上改变人们的生活，成为大数据带给大家最直接的福利。
技术的不断更新发展，让数据的价值被重新发现和定义，进而带来整个社会的变革。如今的大数据行业，正显示出朝气蓬勃的生命力，我们在享受这个时代赋予便利的同时，也将对其进行改变与创新。大数据，想说爱你真不容易。

Ⅳ 大数据在企业中的应用

大数据在企业中的应用

2015年9月10日，首席数据官联盟成立仪式暨第一届首席数据官大会在北大召开，本次活动由中国新一代IT产业联盟和易观智库联合主办，中国新一代IT产业推进联盟技术分委会秘书长鲁四海发表演讲并参与对话讨论。本次对话环节由易观智慧院副院长葛涵涛主持，参与对话的嘉宾有北大电子政务研究院副院长杨明刚、壳牌中国CIO徐斌、华为大数据总监刘冬冬、北京瀚思安信科技有限公司联合创始人董昕。各位嘉宾从大数据在企业的应用、人才队伍建设等方面进行深入讨论，以下是对话实录：

葛涵涛：首先我想请大家做一下自我介绍。

刘冬冬：今年上半年开始代表华为做大数据生态圈的建设，我们这个生态圈是1+6的模式，华为提供公有云，大计算等服务，与数据挖掘，商业应用，数据可视化展示等合作伙伴，国内筛选200多家大数据公司，和比较核心的合作伙伴，开始了第一批，第二批，第三批的流程，第一批选择16家签约，第二批还有十几家，今年年底会完成初步50家的合作伙伴的合作。

徐斌：壳牌品牌是比较大的公司，壳牌中国业务比较大，壳牌中国在今年已经是121年了，1894年正式进入中国了，就没有离开。目前我们在中国的业务有上油的油气的开采，中油的炼化等业务。大数据在壳牌的应用历史比较悠久，我们开采油田的时候需要用海量的数据做分析，帮助我们在哪里打井更有效，如何保证制造环节更顺畅，更早的发现潜在的风险，这方面有比较多的应用。针对我们几百万的用户，也在做很多的和社交媒体的合作，掌握我们的客户，留住我们的客户，寻找新的商业机会。今天很高兴有机会和大家交流大数据，特别是我们传统行业如何使用大数据。

董昕：谢谢大家，我们是瀚思大数据安全，一个新的创业公司。大家想安全和大数据有什么关系？其实有非常深的关系，我们后面有机会再和大家讲。我们这个团队是2014年成立的，主要成员是来自于埃森哲、甲骨文等这些公司。我们致力于把大型企业云中心、互联网里面所有跟安全相关的，跟业务、应用安全相关的数据做统一大规模的存储、挖掘、学习和展现，帮助IT从业者，运维人员，甚至企业的领导层从数据终发现一些跟安全相关的东西。希望通过数据驱动整个行业，和整个企业实现由传统的基于防御的安全策略，转向主动智能的安全策略。我们成立一年多，我们公里56人，40多个人都是研发人员，数学科学家等跟数据相关的人员。非常高兴有机会和大家探讨比较新的行业。

杨明刚：非常感谢主办方的邀请，很多朋友可能了解电子政务，电子政务就是政府的信息化，还有所谓的智慧城市，还有数字城市。在过去一年多，一直做政府相关的信息化的应用，包括顶层设计。现在随着大数据概念的提出以后，应用和需求在过去一直存在，只是提升了一个水平。电子政务这块近两三年提上很重要的地位。电子商务对大数据的需求也是蛮多的，过去三四年，我们一直研究政务数据和商业大数据，非常高兴和大家探讨数据和首席数据官未来在整个企业决策和政策决策中的作用。

葛涵涛：我们的各位嘉宾对大数据，对数据资产进行了前期的描绘和支撑。我们都知道现在大数据产品和数据产品数据来源非常广，包括来自于智能设备，可穿戴设备，来自于金融，来自于终端设备。有了大量的数据，基于数据进行挖掘和分析，数据产品化以后，再将数据产品应用到业务中。但是这些数据产品安全性怎么样？针对数据安全和用户数据隐私与大数据是什么关系？

杨明刚：我先从价值方面跟大家分享一下。美国有一本书《数字化生存》目前这个社会，随着网络的发展，我们所有的网络，所也的社会的形态都可以用数据来表达，这个时候无论是政务数据，还是商业数据，还是个人数据都可以用来提供，或者给我们未来决策提供参考。无论是政府治理，还是企业的科学决策，或者个人未来合理的消费计划，都可以从数据中提取到相关的决策参考。所以这块，其实所有的数据，看似杂乱无章，各种非结构数据和结构化的数据，通过适当的方法处理，或者通过数学模型处理，能够给我们管理和决策带来新的支持或者更大的支持，这是我对整个目前数字这块所谓的资产，数据是可以增值的资产。

其实我们有了互联网以后，每个人在网络上，无论是购物，还是通过社交工具或者社会化媒体发表相关的看法或者思想等，我们在网络上留下了大量的数字的网络痕迹，其实提取这些痕迹，包括相关的特征，用一定的方法去分析，就可以找寻每个人或者相关的机构未来的表现。这个东西在这里面，有很多东西涉及到个人隐私，可能在这里买的房子，或者附近相关的消费，根据你的社会属性可以判断你未来的行为。从某种行为来说，会让我自己感觉很不舒服，但是这些信息是通过我们允许的放在网络上，只是相关的机构提取过来做一些加工，可能对个人的隐私或者个人尊严是一种挑战。随着国家立法的完善，我相信网络的隐私权保护会逐渐解决。

董昕：其实好恶夸张的说，我们在座的每一个人都不安全，在网络空间，无论是你产生的数据，还是你的痕迹，还是你的隐私，或多或少在自己的手机里，PC里，或者是服务器端，安全和隐私可能是永恒的话题，比较大，我就不展开讲了。从我们的角度来说，我们更关注的，从一个角度如何把核心的数据，核心的资产保值增值，安全隐私的问题。无论是大数据下面的数据隐私，数据安全，还是小数据的数据隐私和数据安全方法论是一样的。在管理制度上怎么进行保障？

过去谈论到数据安全，更多的时候是靠技术手段为主，所以才会出现各种各样的防火墙，加解密设备，数据防泄漏，防入侵。这些东西都有用，但是无法解决所有的问题。要不然也不会出现JP摩根信用卡数据泄漏等问题。我们需要拥抱新型的技术，新型的平台，通过技术本身解决安全问题。

另外一个国外很多报告中都写到了，设备本身控制数据资产不太现实，我假设所有的东西都是不安全的，把所有的东西都放一个安全体系，这是国际探讨的问题。我们怎么用新型技术保护数据安全，同时结合技术，如何使安全管理的流程和措施，能够在企业中获得更多的认识，从而解决这个问题。

葛涵涛：关于数据能力开放的问题，在之前大数据会议上，阿里集团代表上讲过，阿里的数据不开放，他们是不是有数据安全的考量。因为他们收购了高德等一系列的社交和位置的公司，掌握了用户全维度的数据，这是出于隐私保护，基于安全的数据开放，还是比较遥远的话题。刚才我们在CDO调研报告里面，在未来的数据业务和大数据技术方向上，在行业领域里面的发展是非常重要的，我想请刘冬冬和徐总分别谈谈，比如说大数据业务，还有数据资产等等相关的技术和服务，在你们相应的通讯和能源行业怎么与你们的业务结合落地的。

徐斌：像大数据的应用，在我们自己的传统行业会产生什么样的作用？我们自己内部把大数据的企业进行划分。从企业决策中大数据起了很多的作用，同行用爆破的方式采集信息，帮助我们判断出这个地方打一口井效率是不是高，因为每一口的井的成本是上百万的，提高10%的成功率是很可观的，这是决策支持。

第二个是运营优化，比如说油站地下油库存在非常大的隐患，汽油和柴油泄漏的时候，一对环境造成很大的风险，第二对地下水有影响，甚至产生爆炸。一旦发生这种情况，通过大数据技术能不能提前发现潜在的泄漏风险。通过对比站的分析，提前发现是否存在不适当的损耗的发生，从而发现风险。

第三个就是市场营销，在我们消费互联网层面谈了很多，我们怎么样找到客户的特性，延伸业务领域，包括业务合作。另外通过合作，找到我们潜在的客户。像今天的孙总，我们客户最典型的，对油品的质量要求比较高。我们从互联网找到这个维度，在电商上购买率很高的，经常谈到汽车的，这两个碰撞就能找到潜在客户。

第四个就是企业安全进行风险管控。能源行业是高危行业，包括油品配送过程中，配送的时候出现问题，可能出现爆炸的风险，包括成本的增加。因此我们在海外作业的时候，不能很好及时发现风险，可能造成重大的人身伤害，包括知识产权的保护，有跟多配方，这是很关键的，这个怎么防止黑客攻击。这个和董总有相关性，企业安全，人身的安全，包括信息安全。

第五是业务创新，第六是模式变革。这两个把我们传统的，我们通过卖汽油变成我们可能变成第三方汽车服务后市场。以后我们油品可能免费，免费的意义在于盈利模式通过后面衍生的新业务，就是羊毛出在猪身上狗来买单。这就是大数据在我们能源行业6方面的价值。

葛涵涛：我们原来做过石油远程管道安全监护。现在俄罗斯他们传输的油气管道，很多油气管道每隔多少公里就有检查油压、温度，还有油管表面的状况，加入了很多传感器，获取管道表面的数据，另外还有相应的机器人，会在轨道上定期巡逻，用光来检查表面的状况。将这些数据全部汇总在当地的数据中心，最后汇总到欧洲数据中心，如果正常就显示为绿色的。大数据帮助能源运输企业，在你发生问题之前就帮你预测问题即将在什么时间大概发生。在发生之前进行预警，我觉得这个也是大数据跟商业智能整合的非常好的一个案例。

徐斌：在我们石油行业，特别是化工行业，生产行业一旦有一些事故终止生产，想恢复是非常长的时间，一般是三个月，三个月损失多大。越早预测到危险，提前采取措施，效率是很明显的。

刘冬冬：我们通讯行业跟石油行业是很像的。我们华为也会装各种各样的传感器采集数据，知道什么地方有什么问题，然后解决问题。比如说一个大型会场，一个足球场，数万人，大家都在发微信，这个时候能不能发出去，信号如何？这是我们自身运营商的应用场景。衍生出来的应用场景，如果华为或者运营商更早的把大数据应用到企业的经营管理等等各个维度中去，就不会发生像上海那样的踩踏事件。当外滩单位面积内聚集的人口超过一定量以后就应该有一个预警，告诉相关的管理部门，公安也好，告诉相关的部门人说这个地方已经超多了，通过手机我们可以捕捉这个信息。我们在大数据行业刚刚起步，我相信将来所有的行业，都会面临变成以数据为驱动，或者以数据为核心驱动力的，而不是像以前以产品为驱动力，以渠道或者品牌为驱动力的。以数据为驱动力的话，这个问题是蛮大的，作为华为来说，现在从各个方面改为以数据为驱动力。从宏观来说，我们将要做什么，我们要做哪些产品，这些都可以通过数据给我们进行指导。

在大数据产品里面，哪些是最需要的，哪些是最急迫的，我们可以通过分析挖掘出来，这个可以指导我们企业将来做什么，不做什么。从很小的细节来说，华为2016年找谁做手机形象代言人，我们可以用大数据做。华为手机的粉丝超过100万。这些人共同关注的是谁，他们共同兴趣爱好是什么？他们每天什么时间上网，数据的统计就告诉我们了，不需要决策部门每天坐在一起拍脑袋决定是谁，不是谁。刚才说到数据安全问题，我认为数据安全和技术是矛和盾的问题。现在接受就可以了，当我们现在收到骚扰短信垃圾短信，为什么会收到，是因为他们掌握了我们手机信息。当企业掌握了很多的信息以后，这时候就造成可以满意度的问题，让数据决定数据安全，让市场决定技术到什么程度，自然会有优胜劣汰，服务好的企业就会持续发展，服务部好的企业就会死掉。

葛涵涛：我们对用户数据掌握的越来越多，我们对数据精准分析越来越多，我们传递出来的消息就是精准营销，传递的信息就是有用的信息，而不是垃圾信息。这实际上对我们大数据企业，对技术和算法提出了更高的要求。如何通过大数据分析方法寻找数据中隐藏的，还没有被发现的价值和知识。

杨明刚：其实所谓大数据，大价值，大数据应该不是大忽悠，我为什么这么说？因为我在过去一段时间，有一个地方政府，某一个行业部门在使用大数据，但是建完的大数据系统无法满足他们的业务需求。我们传统的大数据，一部分是对现有数据的发现，这就是数据检索，传统的数据方法就可以做到，对已知的东西，已知的问题，每个数据单元都是了解的，这时候无论是结构化数据，还是非结构化数据，我们可以带着问题找到蛛丝马迹，问题存在什么地方。另外一部分应该是预测的部分，就像海尔孙总谈到的问题，其实可以预测。业务管理专家和业务模型建构专家需要有一个紧密结合。大数据其实是一件奢侈品，对华为这样的产品，对我们海尔这样的企业，对壳牌这样的企业是可以投得起资金的，大数据是奢侈品，但是绝大部分的中小企业也需要科学决策，也需要了解市场需求，这时候面临很重要的选择，要面临高昂的成本建立系统，这是不可能的。但是绝大多数的大数据企业都需要高投资，中小企业怎么通过在数据时代不被淘汰，需要大数据解决方案提供商，或者需要大数据研究者提供一种更典范的，或者更普世的大数据解决方案，不是依托与传统的数据检索，或者传统的数据包装实现大数据的方案，而是需要跳出传统的大数据分析方法之外，能不能有另外一种更科学，更普世的方法，让我们很多中小企业都能享受到当今的大数据服务，需要我们在座的一起探讨。实际上个人也需要大数据服务。

葛涵涛：跟简单，更方便使用的大数据产品，方便企业减少这方面的预算，让更多的人使用大数据带来的便利。

杨明刚：中国的天气预报部门利用大数据是最好的，把过去一百多年的历史数据拿过来进行预报。真正的大数据是对未来可能的知识的发现，通过大数据发现潜在的数据之间的关联。

葛涵涛：实际上我们刚才提到了各个不同的行业和企业对大数据的应用，因为你在北大做了十年CIO方面的培养，你们对CDO这方面的人才培养有什么样的动作和支持。

鲁四海：我们也在探讨，刚才我们在PPT里面分享，首先为什么会有这样的角色存在，驱动力是什么？然后再说需要什么杨得技能？我觉得CDO有一部分的东西需要从课堂学习的，偏技术这块的，能涵盖技术和基础管理这块。CDO需要有一些经济学的基础在里面。大数据更大的是告诉我们未来是什么样，告诉我们一些未知的东西。不是提一个假设，拿数据进行分析证明这个假设是对的或者是错的，这个意义不大。真正的意义能够告诉你未来是这样的。我觉得CDO在培养过程当中，除了课堂学习以外，还要跟内部的业务部门进行内部的学习和交流。因为我们面临着未知的世界，更多的需要广阔的舞台，像CDO联盟一样，未来我们做一些交流性的东西，各个行业，不同行业的方式方法进行跨界整合，因为数据在这个时代就是跨界。

葛涵涛：下面我们请我们在座的各位嘉宾，用简单的一两句话展望一下大数据时代下，我们这些数据管理人才，CDO们如何在整个大数据背景下做好我们的工作，能在工作上出新出彩，在我们业务设计上有相应的业务创新。

鲁四海：应该说任何一个行业任何一个企业的数据都是资产，每个企业都将拥有将数据变成核心竞争力的能力，这个能力可能是自建也可以购买服务获得。

杨明刚：大数据应用成为未来决策的核心推动力，今天的大数据不能成为大忽悠。

董昕：我们谈了很多技术方面的话题，我觉得一个CDO第一应该有大数据的理念，未来主要的价值都是数据。另外一点，我们认为作为一个CDO，一定要跟我们业务相联系，懂我们的业务，知道我们的收入从哪里来，成本在哪里，效率从哪里提升，这样CDO才能落地。

徐斌：数据本身有没有价值，我个人认为数据是没有价值的，虽然我今天讲了很多大数据。只有当数据能帮助企业产生价值的时候才能成为有价值的资产。我经常说数据资产，每个公司都有大量的数据，他们不是资产，因为它没有用。数据只有成为有用的信息，成为知识，变成智慧，它才是真正的数据资产。不要神话大数据，大数据产生业务的价值，产生商业的价值才叫大。第二我们企业有CDO，或者有虚拟CDO职位，通过其他的CIO、CMO承担。最主要的是脚踏实地，循序渐进，如果你不把企业的数据用好，谈何大数据。如果企业没有从数据支持决策的文化，大家做任何事情不用客观数据帮我们做分析，给你再多的数据也没用。首先是企业文化。第二把现有的数据用好，然后循序渐进引用更多的数据做分析。通过数据发现未知东西，这是伪命题。因为你发现未知东西，因为你不知道，原因是什么。当形成智慧知道为什么会发生，这是我们追求的目的，只不过我们现在不知道，所以通过相关的分析找到了相关性，但是不知道原因。未来当我们有足够多的知识积累，我们就知道原因了。未知领域是大数据的使用阶段。

刘冬冬：大数据这块没有找到盈利模式，没有找到市场，推不动。现在大家找到了盈利模式才推下去了，这才是有用的，大数据有用才是硬道理。对于CDO来说，我认为跨界才是最重要的。不光要有知道企业内部的小数据，同时也要知道外部的数据如何和企业内部的数据相结合。比如说做销售的，系统能不能很快的告诉员工，这个公司销售额有多大的产能，以及其他合作公司等等的情况，有价值才是最重要的。

以上是小编为大家分享的关于大数据在企业中的应用的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅳ 油气储运计算机技术应用是什么

油气储运过程中的安全问题，可以借助当前物联网、人工智能、可视化等前沿技术，辅助管理。

将大数据，云计算，物联网等先进技术与油气管道业务相融合，实现异常数据智能化预警、设备 GIS 信息动态展示等功能。从而达到降低运营成本，提高生产效率，减少安全隐患的目的，进而促进管道管理的标准化，规范化和智能化进程。

助力低碳生产：低碳目标下，能源领域的数字化、智能化转型作用更加凸显。能源数字化的意义，不仅在于把人从繁重体力劳动中解放出来，对企业还有诸多好处。通过油气管道数字孪生系统，对运维数据进行实时展示，可以提升管理效率和生产效率，促进绿色低碳转型。

站场智能管控：西气东输站场运维具有多气源、多用户、用户需求种类多的特点，供气保障难度高，站场管控压力大。为了降低站场运行风险，提高管网运营效率，基于运行数据，利用强大的渲染能力，搭建的可视化解决方案，形成了集中监视的高效管控模式，实现站场分输远程自动控制，推动输气管道站场管理智能化转型，使站场运营管控效率显著提升。

设备风险智能管控：通过对压缩机组运行数据进行关联性分析，建立智能健康感知模型，生成健康状态量化评估指标。

在数据可视化领域耕耘多年，面向油气储运用户，成功研发出智慧油气管道可视化管理系统。综合了物联网、人工智能、大数据、通信技术、GIS、可视化等多种技术，对油气管道运维全生命周期数据进行统一管理与维护，系统涵盖产量分析、能耗分析、设备运维、安全防护以及厂区监控等板块。

通过可视化技术实现对日常运维的辅助决策、智能状态感知、智能数据分析、智能信息发布、智能设备管理、智能业务管理六大功能。2D 面板采用曲线图、趋势图、统计图等多种图表，实现分输量数据、进出站压力、压缩机运行状态、设备完整性、电能波形、综合流程分析等数据的实时可视化展示。

随着西气东输的不断推进，我国油气管道里程数不断增加，传统管道运维过程中数据采集人工化、异常报警不及时、设备智能化水平等不断凸显。未来Hightopo将继续坚定不移推进智慧管道的智能化运营体系构建，努力为天然气与管道行业的高质量发展提供更多有益探索。

Ⅵ 如何充分利用好大数据

就目前而言，几乎所有行业：医疗保健，制造业，金融业，零售业都在发生数字变化，而且这个名单还在继续。如果用好大数据可以预测好未来的发展，那么大家知道不知道如何充分的利用好大数据呢？这就需要建构一个新的结构，以及做好协作工作。

现在人工智能是很普及的，机器人亦是如此，在不久的将来，随着销售和客户服务的自动化，未来的发展重心将更高的价值放在人与人之间的互动上，当然，人们还会保持对提出服务的期望。这样才能够让自己的需求得到充分的满足。如果利用分析的强大功能去进行大数据分析，那么企业将能够对这些海量数据进行分析并分类，机器就会以惊人的速度从中学习。这样就能够获得极佳的发展方向。从而推动科技的发展。

用好大数据必须建构一个新结构
大数据的分析需要一个新的结构，虽然公司将拥有了比以往更多的数据，但是要想进行大数据的分析，就需要重新考虑企业的结构，现如今，随着公司适应技术不断变化，转型的速度将推动现代企业模式的发展。企业必须开始以反向思维的方式运转，不能够继续使用新的企业结构。
当然，企业还应该培养分析文化，这是最重要的一件事情，企业培养分析文化就需要舍弃传统的决策层次结构。这句是要求企业中的每个人都能够做出基于事实的决策的能力。如果询问一线员工，包括销售人员和生产车间员工，他们使用哪些数据做出决策。通过这些问题才能够让未来的发展路线变得更加通透。
对于那些扁平化企业结构并消除决策障碍的公司将变得更加敏捷，因此使得这类公司更具有竞争力。我们需要全面拆除企业结构中的某些局部结构，这种转变能够使企业运作发生了巨大变化。使得企业有一个比较民主的氛围。

大数据的适应需要做好协作工作
传统的层次是公司的常态，但是并不是公司必须改变的唯一方面。对于扁平化的企业结构需要合作水平必须提高，必须培养共享协作的文化。这样才能够让公司更具有凝聚力。企业还应选择具有多学科背景的管理工作人员，并要求他们查看不相关的业务并借鉴想法。这将有助于鼓励合作并吸收新的和创新的想法。
要想发展这种文化的作用，需要确定如何平衡个人贡献与团队合作。如果每个团队成员没有平等的贡献，那么过于紧密地合作可能会导致个人的灵感流失。就个人而言，专业人士需要在个人安静的时间来完成工作。考虑到这些要素，理想的企业模式将能够加快决策速度，减少层级的监督，并产生一种重视个人贡献的协作工作环境。这样才能够让人们更加团结。
看完上述的内容，想必大家已经知道了如何充分利用好大数据了吧，大数据的使用需要建构一个新结构和做好协作工作，这样才能够充分使用大数据，才能够对未来做好精准预测。

Ⅶ 大数据+分析学 数字油田的两把利剑

大数据+分析学 数字油田的两把利剑
在石油和天然气行业，数据都是以太字节(TB)和拍字节(PB)来表示的。这两个词语对于你来说或许有些陌生，下面我给你打个比方，一切就清晰明了了。
一个吉字节(GB)相当于七分钟的高清视频;一个太字节(TB)等于1024个吉字节(GB);而一个拍字节(PB)等于1024个太字节(TB)，相当于13.3年同样的高清视频。
每天全球油气行业都会产生数百个太字节(TB)的数据，每年总计达一个拍字节(PB)数据，也就是13.3年的高清视频了。在这里举个例子，在北美1200英里的管道里每天都会产生大约1TB数据。
把这些数据转化为可用的信息的学科称为分析学，它将成为油气行业削减成本方面的新前沿学科。
2014年2月，美国通用电气公司(GE)软件研究院副总裁Bill Ruh在卡尔加里举行的“通用电气公司Mind + Machines”研讨会上说：“任何事情都可以进行分析”。
分析基本上是在大量的数据中寻找有意义的模型，它运用数学、统计学、计算机编程和操作等方面的知识将问题性能进行量化分析。
在分析数据时发现的模型可以用来预测未来的资产设备表现，以确定设备性能可以提高的范围，同时可以通过识别故障区域在故障发生前制定风险管理计划。
Ruh说：其他工业部门已经使用分析学方法来提高生产力从而降低成本。通用电气公司在电力行业中已经取得了成功，运用分析法来优化风力发电机的电力生产。通用电气公司改变了风力发电机组安装前使用计算机建模的传统方法。
“我们想，如果将历史数据进行优化会怎样?这意味着要对风力发电机产生的数据进行解析并应用这些信息。这一结果增加了5%的电力输出和20%的利润，而风力发电机组并没有发生任何物理变化。”
Ruh表示：作为快消品的手机产业压缩了数字传感器技术的成本，网络连接的低成本完全可以使所有油田设备联网，分析现成的数据流。通用电气公司认为通过数据分析油气行业可以提高设备的可靠性和利用率，从而提高运营效率。
Ruh 表示，“你可以从零停机、零差错中赚取很多钱，毕竟油气行业一旦发生维修状况造成的损失将是巨大的。”
通用电气公司油气软件服务部门总经理Ashley Haynes Gaspar说：“使用分析学方法最大的好处是优化处理了整个油气项目，而油气项目得到优化是最重要的，我们相信，利用分析学你能更有效率地从地球上采出更多的石油，在油气行业中将增长6%-8%的潜在产出。”
最近，信息技术供应商已经尝试对油气行业进行数据分析并找到解决方案，但目前还没有成功。目前的计算公式是在手机中常见的，基于应用系统进行模拟并将其分解成可管理的部分。
自通用电气公司在加拿大工业推动数字油田的六个月以来，出现了一系列成功基于app的方法。其中一个例子是Apache公司正努力提高电潜泵性能的操作。
Apache公司在北美和世界各地有成千上万的电潜泵。由于进行了实时监控，德克萨斯基地公司已经收集了大量的电潜泵性能数据、地下岩层特征和地质信息。
Apache公司与通用电气公司合作分析了这些数据，针对不同油井选择不同的电潜泵，然后提高泵的运行时间并成功预测这些泵的使用寿命。
这一系列工作有助于Apache公司避免重大的生产损失，其中最大的好处是可以将此成功经验快速复制至整个行业。
据该公司称，全球电潜泵性能提高1%后，将额外提供超过50万桶/天的原油。即使在油价如此低的今天，这也相当于每年会额外产生数十亿美元的效益。
Apache公司的成功来自于对硬件和软件的充分利用，一般被称为资产性能管理(APM)。实时监控器将一连串数据传输到中央设备，在那里他们被相应的大数据分析软件处理，然后找出最优方案。
通用电气公司油气测控加拿大区总经理Orvil Smith 说：“通过我们与客户所做的工作发现，大数据分析是有所作为的。在以往，当一个电潜泵失灵时，企业将花费很长时间才能使油井恢复生产。”
但如果你能在设备失灵前就预见到这个问题，就会知道什么时候该把它停下来并更换上提前准备好的新部件，这样就可以避免长时间停机带来的损失。

Ⅷ 站在“大数据”的台风口，石油行业能起飞吗三分钟带你全面了解

加大油气勘探开发力度、保障国家能源安全是当前面临的迫切任务。但随着优质资源的不断开发，剩余资源开采难度越来越大，成本越来越高，迫切需要创新技术提升油气勘探开发效率和效益。在大数据、人工智能( artificial intelligence，AI)、5G、云计算、物联网等技术推动下，油气田的智能化水平将会越来越高，这既是油田降本提质增效的有效途径，也是油气技术发展规律的必然趋势。

1、大数据技术定义

2012年兴起的“大数据”潮流，让“Big Data”这个IT圈子里的名词一下风靡了各个行业。虽然大数据的重要性得到了大家的一致认同，但是对大数据的理解却众说纷纭。大数据是一个抽象的概念，除去数据量庞大这一特征，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。

高德纳分析员Doug Laney曾于2001年在一次演讲中指出，数据增长有3个方向的挑战：数量（volume），即数据多少；速度（velocity），即资料输入、输出的速度；种类（variety），即多样性，这3方面的特征即大数据最先提出的3V模型。2011年，在国际数据公司（IDC）发布的报告中，大数据被定义为：“大数据技术描述了新一代的技术和架构体系，通过高速采集、发现或分析，提取各种各样的大量数据的经济价值。”大数据的特点可以总结为4个V，即volume（体量浩大）、variety（模态繁多）、velocity（生成快速）和value（价值巨大但密度很低）。这种4V定义得到了更广泛的认同，指出了大数据最为核心的问题，就是如何从规模巨大、种类繁多、生成快速的数据集中挖掘价值。

2、大数据技术的发展

大数据是人工智能的血液，当前大数据、云计算、人工智能以及区块链技术之间的关系密不可分，也被称作数据智能。比如，先进的工业互联网，其中既有区块链技术也有大数据技术，还有云计算技术，三者合成一体，又衍生出了人工智能和物联网的概念。

在大数据基础上的人工智能，目前已进入数据智能的深度学习时代，其快速发展引起了 社会 和产业的颠覆性变化。从大数据和人工智能技术全行业的发展来看，目前美国仍处于领先地位，中国紧随其后，且具有赶超趋势。中国在人工智能相关的论文发表总数和高引论文数量实现对美国的超越，但在人工智能理论发展和技术方向的引领方面美国还占据支配地位。

3、大数据技术流程

大数据处理的关键技术流程主要包括：数据采集、数据预处理（数据清理、数据集成、数据变换等）、海量数据存储、数据分析及挖掘、数据的呈现与应用（数据可视化、数据安全与隐私等）。

4、大数据的核心算法

大数据的核心算法可以分为监督学习（有标签）和无监督学习（无标签）两大类，其中：

监督学习分为回归和分类：即给定一个样本特征，希望预测其对应的属性值，如果是离散的，那么这就是一个分类问题，反之，如果是连续的实数，这就是一个回归问题。无论是分类还是回归，都是想建立一个预测模型，给定一个输入，可以得到一个输出。不同的只是在分类问题中，是离散的；而在回归问题中是连续的。

无监督学习分为聚类和降维：即如果给定一组样本特征，我们没有对应的属性值，而是想发掘这组样本在维空间的分布，比如分析哪些样本靠的更近，哪些样本之间离得很远，这就是属于聚类问题。如果我们想用维数更低的子空间来表示原来高维的特征空间，那么这就是降维问题。聚类也是分析样本的属性，事先不知道样本的属性范围，只能凭借样本在特征空间的分布来分析样本的属性。这种问题一般更复杂。而常用的算法包括 k-means （K-均值），GMM（高斯混合模型）等。

5、大数据在油气勘探开发领域的应用

目前大数据技术在地质分析、测井解释、地震解释、甜点预测、地质建模、油藏模拟、钻井、压裂、采油、产能预测等方面均开展了大量 探索 性研究，收到了良好的效果。但是目前，大数据与油气行业相关领域的融合还处于起步阶段，面临来自数据、算法和地下未知因素的诸多挑战。未来在大数据、人工智能、5G、云计算、物联网等技术推动下，油气田的智能化水平将会快速发展，这既是油气技术发展规律的必然趋势，也是油田降本提质增效的有效途径。在发展的过程中，智能油气田建设需要油气勘探开发与大数据、人工智能、云计算以及区块链等技术的深度融合，进而催生一批油气田领域的颠覆性技术，解决油气勘探开发的技术需求，提升油气田勘探开发的经济和 社会 效益。

（ 下期将向您详细解读大数据在油气行业的具体应用 ）。

注：本文部分参考资料来源如下：

李阳，廉培庆，薛兆杰，等．大数据及人工智能在油气田开发中的应用现状及展望[J]．中国石油大学学报(自然科学版)，2020，44(4):1-11

Gantz J，Reinsel D.Extracting Value from Chaos. IDC iView Report，2011

Team O R. Big Data Now：Current Perspectives from O’Reilly Radar.Sebastopol：O’Reilly Media，2014

Grobelnik M. Big data tutorial. http：//videolectures.net/eswc2015grobelnik big data/，2012

Walters, R. J., Zoback, M. D., Baker, J. W. 2015. Characterizing and Responding to Seismic Risk Associated With Earthquakes Potentially Triggered by Fluid Disposal and Hydraulic Fracturing. Seismol. Res. Lett. 86 (4): 1–9. https:// doi.org/10.1785/0220150048.

周松兰．中美欧日韩人工智能技术差距测度与比较研究[J]．华南理工大学学报 ( 社会 科学版)，2020，22(2):10-22．

HINTON G E，OSINDERO S，TEH Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2016，18: 1527-1554．

LECUN Y，BOTTOU L，BENGIO Y，et al．Gradientbased learning applied to document recognition[J]．Proceedings of IEEE，1988，86( 11) : 2278-2324．

BENGIO Y， SIMARD P，FRASCONI P．Learning longterm dependencies with gradient descent is difficult[J]．IEEE Transactions on Neural Networks，1994，5(2) :157-166