导航:首页 > 网络数据 > 地质大数据应用

地质大数据应用

发布时间:2022-12-16 22:47:37

大数据在地理信息系统中有什么应用

GIS 的应用领域
地理信息系统在最近的30多年内取得了惊人的发展,广泛应用于资源调查、环境评估、灾害预测、国土管理、城市规划、邮电通讯、交通运输、军事公安、水利电力、公共设施管理、农林牧业、统计、商业金融等几乎所有领域。 (加测绘、应急、石油石化等国民经济各个领域。)
以下地理信息系统的应用领域分别回答了在各自领域内的作用
◆ 资源管理 (Resource Management)
主要应用于农业和林业领域,解决农业和林业领域各种资源(如土地、森林、草场)分布、分级、统计、制图等问题。主要回答“定位”和“模式”两类问题。
◆ 资源配置 (Resource Configuration)
在城市中各种公用设施、救灾减灾中物资的分配、全国范围内能源保障、粮食供应等到机构的在各地的配置等都是资源配置问题。GIS在这类应用中的目标是保证资源的最合理配置和发挥最大效益。
◆ 城市规划和管理 (Urban Planning and Management)
空间规划是GIS的一个重要应用领域,城市规划和管理是其中的主要内容。例如,在大规模城市基础设施建设中如何保证绿地的比例和合理分布、如何保证学校、公共设施、运动场所、服务设施等能够有最大的服务面(城市资源配置问题)等。
◆ 土地信息系统和地籍管理 (Land Information System and Cadastral Applicaiton)
土地和地籍管理涉及土地使用性质变化、地块轮廓变化、地籍权属关系变化等许多内容,借助GIS技术可以高效、高质量地完成这些工作。
◆ 生态、环境管理与模拟 (Environmental Management and Modeling)
区域生态规划、环境现状评价、环境影响评价、污染物削减分配的决策支持、环境与区域可持续发展的决策支持、环保设施的管理、环境规划等。
◆ 应急响应 (Emergency Response)
解决在发生洪水、战争、核事故等重大自然或人为灾害时,如何安排最佳的人员撤离路线、并配备相应的运输和保障设施的问题。
◆ 地学研究与应用 (Application in GeoScience)
地形分析、流域分析、土地利用研究、经济地理研究、空间决策支持、空间统计分析、制图等都可以借助地理信息系统工具完成。
◆ 商业与市场 (Business and Marketing)
商业设施的建立充分考虑其市场潜力。例如大型商场的建立如果不考虑其他商场的分布、待建区周围居民区的分布和人数,建成之后就可能无法达到预期的市场和服务面。有时甚至商场销售的品种和市场定位都必须与待建区的人口结构(年 龄构成、性别构成、文化水平)、消费水平等结合起来考虑。地理信息系统的空间分析和数据库功能可以解决这些问题。房地产开发和销售过程中也可以利用GIS功能进行决策和分析。
◆ 基础设施管理 (Facilities Management)
城市的地上地下基础设施(电信、自来水、道路交通、天然气管线、排污设施、 电力设施等)广泛分布于城市的各个角落、且这些设施明显具有地理参照特征的。它们的管理、统计、汇总都可以借助GIS完成,而且可以大大提高工作效率。
◆ 选址分析 (Site Selecting Analysis)
根据区域地理环境的特点,综合考虑资源配置、市场潜力、交通条件、地形特征、环境影响等因素,在区域范围内选择最佳位置,是GIS的一个典型应用领域,充分体现了GIS的空间分析功能。
网络分析 (Network System Analysis)
建立交通网络、地下管线网络等的计算机模型,研究交通流量、进行交通规则、处理地下管线突发事件(爆管、断路)等应急处理。 警务和医疗救护的路径优选、车辆导航等也是GIS网络分析应用的实例。
◆ 可视化应用 (Visualization Application)
以数字地形模型为基础,建立城市、区域、或大型建筑工程、著名风景名胜区的三维可视化模型,实现多角度浏览,可广泛应用于宣传、城市和区域规划、大型工程管理和仿真、旅游等领域。
◆ 分布式地理信息应用 (Distributed Geographic Information Application)
随着网络和Internet技术的发展,运行于Intranet或Internet环境下的地理信息系统应用类型,其目标是实现地理信息的分布式存储和信息共享,以及远程空间导航等。

㈡ 站在“大数据”的台风口,石油行业能起飞吗三分钟带你全面了解

加大油气勘探开发力度、保障国家能源安全是当前面临的迫切任务。但随着优质资源的不断开发,剩余资源开采难度越来越大,成本越来越高,迫切需要创新技术提升油气勘探开发效率和效益。在大数据、人工智能( artificial intelligence,AI)、5G、云计算、物联网等技术推动下,油气田的智能化水平将会越来越高,这既是油田降本提质增效的有效途径,也是油气技术发展规律的必然趋势。

1、大数据技术定义

2012年兴起的“大数据”潮流,让“Big Data”这个IT圈子里的名词一下风靡了各个行业。虽然大数据的重要性得到了大家的一致认同,但是对大数据的理解却众说纷纭。大数据是一个抽象的概念,除去数据量庞大这一特征,大数据还有一些其他的特征,这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。

高德纳分析员Doug Laney曾于2001年在一次演讲中指出,数据增长有3个方向的挑战:数量(volume),即数据多少;速度(velocity),即资料输入、输出的速度;种类(variety),即多样性,这3方面的特征即大数据最先提出的3V模型。2011年,在国际数据公司(IDC)发布的报告中,大数据被定义为:“大数据技术描述了新一代的技术和架构体系,通过高速采集、发现或分析,提取各种各样的大量数据的经济价值。”大数据的特点可以总结为4个V,即volume(体量浩大)、variety(模态繁多)、velocity(生成快速)和value(价值巨大但密度很低)。这种4V定义得到了更广泛的认同,指出了大数据最为核心的问题,就是如何从规模巨大、种类繁多、生成快速的数据集中挖掘价值。

2、大数据技术的发展

大数据是人工智能的血液,当前大数据、云计算、人工智能以及区块链技术之间的关系密不可分,也被称作数据智能。比如,先进的工业互联网,其中既有区块链技术也有大数据技术,还有云计算技术,三者合成一体,又衍生出了人工智能和物联网的概念。

在大数据基础上的人工智能,目前已进入数据智能的深度学习时代,其快速发展引起了 社会 和产业的颠覆性变化。从大数据和人工智能技术全行业的发展来看,目前美国仍处于领先地位,中国紧随其后,且具有赶超趋势。中国在人工智能相关的论文发表总数和高引论文数量实现对美国的超越,但在人工智能理论发展和技术方向的引领方面美国还占据支配地位。

3、大数据技术流程

大数据处理的关键技术流程主要包括:数据采集、数据预处理(数据清理、数据集成、数据变换等)、海量数据存储、数据分析及挖掘、数据的呈现与应用(数据可视化、数据安全与隐私等)。

4、大数据的核心算法

大数据的核心算法可以分为监督学习(有标签)和无监督学习(无标签)两大类,其中:

监督学习分为回归和分类:即给定一个样本特征,希望预测其对应的属性值,如果是离散的,那么这就是一个分类问题,反之,如果是连续的实数,这就是一个回归问题。无论是分类还是回归,都是想建立一个预测模型,给定一个输入,可以得到一个输出。不同的只是在分类问题中,是离散的;而在回归问题中是连续的。

无监督学习分为聚类和降维:即如果给定一组样本特征,我们没有对应的属性值,而是想发掘这组样本在维空间的分布,比如分析哪些样本靠的更近,哪些样本之间离得很远,这就是属于聚类问题。如果我们想用维数更低的子空间来表示原来高维的特征空间,那么这就是降维问题。聚类也是分析样本的属性,事先不知道样本的属性范围,只能凭借样本在特征空间的分布来分析样本的属性。这种问题一般更复杂。而常用的算法包括 k-means (K-均值),GMM(高斯混合模型)等。

5、大数据在油气勘探开发领域的应用

目前大数据技术在地质分析、测井解释、地震解释、甜点预测、地质建模、油藏模拟、钻井、压裂、采油、产能预测等方面均开展了大量 探索 性研究,收到了良好的效果。但是目前,大数据与油气行业相关领域的融合还处于起步阶段,面临来自数据、算法和地下未知因素的诸多挑战。未来在大数据、人工智能、5G、云计算、物联网等技术推动下,油气田的智能化水平将会快速发展,这既是油气技术发展规律的必然趋势,也是油田降本提质增效的有效途径。在发展的过程中,智能油气田建设需要油气勘探开发与大数据、人工智能、云计算以及区块链等技术的深度融合,进而催生一批油气田领域的颠覆性技术,解决油气勘探开发的技术需求,提升油气田勘探开发的经济和 社会 效益。

下期将向您详细解读大数据在油气行业的具体应用 )。

注:本文部分参考资料来源如下:

李阳,廉培庆,薛兆杰,等.大数据及人工智能在油气田开发中的应用现状及展望[J].中国石油大学学报(自然科学版),2020,44(4):1-11

Gantz J,Reinsel D.Extracting Value from Chaos. IDC iView Report,2011

Team O R. Big Data Now:Current Perspectives from O’Reilly Radar.Sebastopol:O’Reilly Media,2014

Grobelnik M. Big data tutorial. http://videolectures.net/eswc2015grobelnik big data/,2012

Walters, R. J., Zoback, M. D., Baker, J. W. 2015. Characterizing and Responding to Seismic Risk Associated With Earthquakes Potentially Triggered by Fluid Disposal and Hydraulic Fracturing. Seismol. Res. Lett. 86 (4): 1–9. https:// doi.org/10.1785/0220150048.

周松兰.中美欧日韩人工智能技术差距测度与比较研究[J].华南理工大学学报 ( 社会 科学版),2020,22(2):10-22.

HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2016,18: 1527-1554.

LECUN Y,BOTTOU L,BENGIO Y,et al.Gradientbased learning applied to document recognition[J].Proceedings of IEEE,1988,86( 11) : 2278-2324.

BENGIO Y, SIMARD P,FRASCONI P.Learning longterm dependencies with gradient descent is difficult[J].IEEE Transactions on Neural Networks,1994,5(2) :157-166

㈢ 大数据的应用

大数据的应用有:构建知识图谱,追踪传播路径;大数据构建疫情发展模型;大数据挖掘疫情舆论等。

1. 构建知识图谱,追踪传播路径

大数据技术可以梳理感染者的移动轨迹,追踪人群接触史,建立知识图谱,为精准定位疫情传播路径,防控疫情扩散等方面提供重要信息。

追踪移动轨迹、建立知识图谱,已经是大数据领域比较成熟的技术。位置数据方面,除了航空、铁路、公路、轮渡等交通部门统计的出行数据外,在用户授权的前提下,电信运营商可以基于手机信令等包含地理位置和时间戳信息的数据有效定位用户的手机位置。

2. 大数据构建疫情发展模型

疫情期间,大众密切关注疫情的传播态势。疫情还会传播多久?感染者还会大幅增加吗?哪里感染风险高?何时能够进入安全期?要解决这些问题,需要找出关键影响因素、分析疫情传播特征、搭建疫情发展模型,这其中大数据能够发挥关键作用。

3. 大数据挖掘疫情舆论

疫情面前,疏解民众的焦虑心理至关重要。由于信息获取方式、生活方式的改变,搜索大数据已成为疫情之下了解民意的重要载体,每一条信息背后的点击、每一次搜索,都精准揭示了民众的需求与问题。

㈣ 基于Ontology驱动的广东省地质数据中心设计

李丹秋

(广东省国土资源档案馆)

摘要 本文结合广东省地质资料管理和应用的实际情况,在已有地质资料空间数据库和非空间数据库的基础上,引入Ontology技术以解决空间数据库语义冲突问题,扩展和深化已有地质资料查询的结果,在原有“一张图”数据中心架构的基础上重新设计了广东省地质数据中心。

关键词 Ontology 地质数据中心 构建 模式 广东省

地质资料是地质工作形成的重要基础信息资源,具有可被重复开发利用、能够长期提供服务的重要功能(赵铭,2012)。自2010年国土资源部制定《推进地质资料信息服务集群化产业化工作方案》(国土资发〔2010〕113号)以来,广东省认真落实地质资料信息服务集群化产业化工作,由广东省国土资源档案馆承担建设,目前已初步构建省级地质资料数据集群与管理服务平台和网络服务体系,对广东省地质资料信息服务集群化产业化工作起到了很好的推动作用。然而现有数据中心的基本架构体系中采用基于数据驱动的数据交互方式,此种交互方式会产生诸如语义冲突、数据挖掘程度低等问题。为解决这些问题,我们通过依托Ontology在语义集成中的优势,提出了基于Ontology驱动的广东省地质数据中心设计。

1 Ontology技术概述

1.1 基本概念

Ontology最初是一个哲学概念,是客观存在的一个系统的解释或说明,关心的是客观现实的抽象本质,即“本体”(邓鸿志,2002)。本体(Ontology)通过建立概念体系,定义概念的属性、相互约束和关系的方式,实现领域知识的概念化共享(Guarino,1997b)。本体概念应包括四方面:保持独立性、定义的明确性、计算机可读性和具有共享性。经过近20年的发展,本体已经为知识转换、共享和数据集成等领域提供方法,被广泛用于解决数据互操作能力问题。

地质本体的构建与引入为多源地质数据集成、地质知识的转化,以及地质数据的互操作性等提供了技术基础,并在语义层上解决地质异构信息的集成和互操作,从而促进并实现地质相关知识共享、交互和推理(Ma et al.,2012)。特别是本体能够为数字基础设施提供语义匹配支持、解决分布式服务组配等问题(Gurnis et al.,2011),形成了地球科学中若干的本体应用。

1.2 在地质信息领域中本体相关应用

目前,地质本体主要用于地质图、知识集成及共享。例如,GEON(是2002年由美国自然科学基金委员会信息技术研究项目(NSF Information Technology Research(ITR)program)资助的一个科研项目)工程中的地质本体主要用于地质图中异构概念模式的协调和异构地质图的组配(Lin et al.,2008);基于SKOS建立的GTS多语言词典,可以解决在线地质图之间的多语言障碍(Ma et al.,2012);通过建立基于词表的地质图检索服务,AuScope克服了在地球科学术语中的语义和语法上的不同(Woodcock et al.,2010);Silva等人提出了应用本体实现地质影像的知识标记和解析,如地层形态和沉积结构、岩石视觉特征等(Silva et al.,2004)。此外,地质本体被用于解决地质建模中地质语义异构、解析及构建地质知识模型等问题(侯卫生等,2009)。

总体来说,本体大致有两个不同层次的应用:底层应用与顶层应用。底层应用主要包括数据集成与互操作、数据交换两个方面,即从语义上实现异构数据源重用、集成及互操作,并对输入和输出的异构数据源进行校准;顶层应用主要包括服务和知识的集成、共享及互操作等方面。顶层应用则以语义的方式集成各类服务,以获得有效工作流,实现知识的形式化、形式化知识推理及跨领域知识共享方式。

2 广东省地质数据现状分析

广东省国土资源档案馆已完成馆藏及厅矿政管理各类地质资料成果等数据资源的数据格式、数据完备程度等情况的分析整理,并根据地质资料数据集群与管理服务平台建设的要求,制定了地质资料数据集群与管理服务平台的数据库规范,做到统一数学基础、统一数据格式、统一数据分类的要求,提取各类数据的核心图层,建立各类空间数据库。初步建立起广东省国土资源“地质资料数据集群与管理服务平台”的基础核心数据体系。

目前,广东省国土资源档案馆所管理的数据库包括测绘、地质、矿产等多种空间和非空间数据库,具体见表1。

表1 广东省国土资源档案集群服务平台数据库列表

由此可见,目前省级档案馆在各类地质数据库中已积累、管理了大量地质数据,种类繁多、类型和结构也存在多样化,并且在相关业务的处理过程中,又会产生新的衍生数据。如何更好地挖掘地质知识以便更好地为地质服务已成为当务之急。

3 广东省地质数据中心设计

3.1 架构设计

现有国土“一张图”的基本架构体系中GIS空间数据引擎与基础数据库之间的数据交互是数据驱动的,由于不同数据库的多源异构的特征,这种基于数据驱动的数据交互方式会产生诸如语义冲突、数据挖掘程度低等问题。故此,我们通过依托Ontology在语义集成中的优势,构建了基于Ontology驱动的广东省地质数据中心设计模式(图1)。

图1 广东省地质数据中心设计

该数据中心包括以下几个部分:基础数据层、空间数据交互层、地质大数据处理分析层、数据管理基础平台、数字基础设施支撑体系和标准规范及汇交更新机制。数字基础设施支撑体系是整个数据中心的硬件基础,包括网络设施、服务器、存储设施等。基础数据层是指广东省国土资源档案馆所管理的各类数据。空间数据交互层主要为空间数据的交互查询、更新提供功能,它包括基于数据驱动的交互、GIS空间数据引擎、基于Ontology驱动的数据交互。地质大数据处理分析层是基于Ontology技术的一个地质知识挖掘和服务的中间层,是从结构化的地质数据库中直接提取各类地质概念,建立相应的概念间逻辑关系与语义关系,为多源地质数据语义提取和数据挖掘提供服务。数据管理基础平台为外在的数据录入、管理、分析等交互界面和处理功能,是整个数据中心的外在表现。

标准规范及汇交更新机制是指各类地质数据汇交、更新过程中所必须依据的标准和规范,是整个数据中心运转的制度保障。在各个平台的使用过程以及各部门的业务流转过程中,既需要从档案馆地质资料集群平台提取地质数据,同时会产生新的地质数据需要汇交到地质资料集群平台,并更新地质资料集群平台。在这样一个过程中,数据汇交、更新过程的标准和规范是必要的。

数据中心的底层是广东省国土资源档案馆管理的基础数据库,在数据库与空间数据引擎之间通过两种途径来实现数据交互:一是传统的基于数据驱动的数据交互,这类交互通过SQL语句或GSQL语句实现对空间和属性数据的获取、更新管理;二是通过Ontology来实现数据的查询,利用Ontology构建工具,基础数据库中的每一个数据库建立一个相应的Ontology,理顺数据库中各实体及相互之间的语义关系、以及所涉及的概念体系,从而为深度数据查询提供基础。两者通过GIS空间数据引擎共同构成了数据基础管理平台与基础数据库之间的沟通桥梁。

该技术架构的设计注重地质数据语义集成与分析,并且可以在不改变业务应用的前提下实现。其中地质本体的构建原则采用侯卫生等人(2013)提出的基于地质空间数据库的OWL本体自动构建方法,可实现一次构建,随时更新,永久保存的特性。

3.2 架构优势

基于Ontology驱动的数据交互和传统的基于数据驱动的数据交互相比具有明显的优势。基于Ontology驱动的数据交互优势主要包括两点:

一是解决语义冲突产生的问题,使查询结果更精确。基础数据库包括空间数据库、非空间数据库,它们来源广泛、结构各异、尺度不同、精度不一,对同一地质现象在不同数据库中的描述肯定不尽相同。如小比例尺空间数据库中对某区域岩性统一描述为“砂岩”,而大比例尺空间数据库中会细分为“含砾砂岩”、“含砂砾岩”、“泥质砂岩”、“砂质泥岩”、“含泥砂岩”等岩性描述。如果忽略了不同数据库间语义上的联系或冲突,单纯使用基于数据库的查询方法可能得到不准确的查询结果。而建立了Ontology之后,通过基于Ontology的查询就可以很好地规避这个问题。

二是建立了数据库之间的联系,深化查询结果。当前各个基础数据库之间是相互独立的,不同数据库之间的关联不紧密或者没有关联,在进行数据挖掘时很难挖掘出足够的信息。例如,对某区域的岩性“地质空间数据库”描述为“砂岩”,而“水文地质数据库”称为“砂质岩”,那么在基于数据库查询“砂岩”时,由于没有查到“砂质岩”的结果,这次查询就无法得到“水文地质数据库”中的信息。而Ontology建立了“砂岩”和“砂质岩”两个语义之间的联系,那么这两个数据库的数据都能被挖掘出来。

总之,依托结构化数据构建Ontolgy可以从中提取出各类概念及概念间的语义关系,可以更好地为地质知识挖掘服务。

4 小结

本文根据广东省地质数据管理现状,提出了基于Ontology驱动的广东省地质资料集群化平台的数据中心设计模式。与传统的基于数据驱动的模式相比,该数据中心设计模式可以解决空间数据查询时的语义冲突以及数据挖掘程度不够等问题,为今后拓展地质资料的集群化产业化应用领域,适应大数据的发展,以及更好地为地质数据知识挖掘和服务提供了良好的基础和数据保障。

参考文献

[1]Guarino,N..Understanding,building and using ontologies[J].International Journal of Human–Computer Studies,1997,46(2~3):293~310.

[2]Gurnis,M.,Flesch,L.,Okaya,D.,et al.EarthScope Cyber infrastructure Subcommittee(ECISC).Preliminary Strategic Plan for EarthScope Cyberinfrastructure[R].2011.

[3]Lin,K.,Bertram,L.GEON:Ontology-Enabled Map Integration.24th Annual ESRI International User Conference,[C].2008.

[4]Ma,X.,Carranza,E.J.M.,Wu,C.,et al.Ontology-aided annotation,visualization,and generalization of geological time-scale information from online geological map services[J].Computers & Geosciences,2012,40(3):107~119.

[5]Silva OP.da,Freitascmds.,Abel M.Interactive visualization of well data for supporting geological reservoir modeling.2004.

[6]Woodcock,R.,Simons,B.,Duclaux,G.,et al.AuScope’s use of standards to deliver earth resource data.Geophysical Research Abstracts 12,EGU2010-1556,EGU General Assembly,2010.

[7]邓鸿志,等.Ontology研究综述[J].北京大学学报(自然科学版),2009,38(5):730~738.

[8]侯卫生,刘修国,吴信才,等.面向三维地质建模的领域本体逻辑结构与构建方法[J].地理与地理信息科学,2009,25(1):27~31.

[9]赵铭.地质档案信息开发利用新趋势[J].档案管理.2012(5):87.

㈤ 大数据应用案例有哪些

案例如下:

1、交通大数据畅通出行

交通作为人类行为的重要组成和重要条件之一,对于大数据的感知也是最急迫的。近年来,我国的智能交通已实现了快速发展,许多技术手段都达到了国际领先水平。交通的大数据应用主要在两个方面,一方面可以利用大数据传感器数据来了解车辆通行密度,合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度,提高已有线路运行能力。

2、教育大数据因材施教

在课堂上,数据不仅可以帮助改善教育教学,在重大教育决策制定和教育改革方面,大数据更有用武之地。利用数据来诊断处在辍学危险期的学生、探索教育开支与学生学习成绩提升的关系、探索学生缺课与成绩的关系。

3、环保大数据对抗PM2.5

在美国NOAA(国家海洋暨大气总署)其实早就在使用大数据业务。每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后,NOAA会汇总大气数据,海洋数据,以及地质数据,进行直接测定,绘制出复杂的高保真预测模型,将其提供给NWS(国家气象局)做出气象预报的参考数据。


大数据特点

1、大容量

例如,IDC最近的报告预测到2020年,世界数据量将扩大50倍.目前,大数据的规模仍然是不断变化的指标,单一数据集的规模范围从数十TB到数PB不同.简单来说,存储1PB数据需要2万台配备50GB硬盘的PC.此外,各种意想不到的来源可以产生数据。

2、多样性

数据多样性的增加主要是由于网络日志、社交媒体、网络检索、手机通话记录、传感器网络等数据类型。

3、高速

高速描述的是数据创建和移动的速度.在高速网络时代,通过实现软件性能优化的高速计算机处理器和服务器,创建实时数据流已成为流行趋势.企业不仅要知道如何快速创建数据,还要知道如何快速处理、分析和返回用户,以满足他们的实时需求。

㈥ 大数据技术

随着信息技术的发展,新型信息发布方式的不断涌现,数据正以前所未有的速度在不断地增长和累积,大数据时代正式到来。2012年被称为“大数据元年”,因为在这一年“大数据”这个概念引起了人们的空前关注。首先是美国政府公布“大数据研发计划”,紧接着世界各国以及各大商业公司也对“大数据”给予了极大的关注。美国在“大数据研发计划”中,与空间数据关系最为密切的是联邦地质调查局和航空和航天局。

联邦地质调查局的科学家们合作完成对全面、长期数据的最新综合,进一步把大数据集和地球科学理论的大构想转换成科学发现,提高对地球系统科学问题的理解和应对能力,例如物种应对气候变化、地震复发率、下一代生态指标等。NASA用先进信息系统技术寻求成熟的大数据能力,以支持未来的地球观测任务,使得地球信息能为NASA气候中心的体系结构所识别,减少地球科学部的空基和陆基信息系统的风险、成本、规模和开发时间,提高科学数据的可访问性和实用性。NASA的地球科学数据和信息系统项目已经活跃了15年以上,旨在对地球卫星数据和空中与实地活动的数据进行处理存档和发布,努力确保科学家和社会公众可以满意地访问从地球到太空的数据,提升应对气候和环境变化的能力。NASA与Cray公司制定的太空行动协议,允许一个或多个项目围绕发展和应用低延迟“大数据”系统合作,使用高度集成的非SQL数据库传输数据,来加速建模和分析软件的运行,以测试混合计算机系统的实用性。此外,各种专用减灾卫星、遥感卫星、通信与导航卫星已广泛应用于地震、海啸、台风(飓风)、洪灾、旱灾、地质灾害和火灾等各种不同类型的灾害管理。

在我国,地学大数据的研究也已开始,国土资源部地质信息技术重点实验室地学大数据高性能计算应用环境搭建成功,已经对外开放。利用搭建的大数据及高性能地理数据计算平台,开展地质大数据综合处理、分析和应用研究,对于推进地质数据开发应用、提高服务效率具有重要作用。

㈦ 浅析大数据时代的地质资料管理

杜艳玲

(中石油勘探开发研究院资料中心)

摘要 长期以来,文字描述地质资料是记录地质信息的有效载体。随着大数据时代的来临,地质资料海量数据的发现与提取难度加大,地质资料信息化发展面临着二次开发与知识服务的新挑战。本文就地质资料管理的现状、管理中存在的问题进行了分析探讨,并就如何做好大数据时代的地质资料管理工作做了有益的探讨并提出了4个方面的意见和建议。

关键词 大数据 地质资料 信息化 二次开发

地质资料是地勘单位记录历史地质信息的有效载体,是工作得以有效实施的有力保障。随着社会发展进步及地质勘探技术的成熟,地质资料管理工作任务量越来越大。如何在大数据时代背景下完善地质资料的信息管理,成为所有档案工作者迫切需要解决的问题。

1 地质资料管理的现状

1.1 地质资料互相封闭

随着经济建设的快速发展,勘探开发专业人员对地质资料的需求量不断增大,但是由于大部分地质资料属于内部管理资料,只用于级别较高且承担着较大科研任务的项目使用,部分单位甚至为获取自身利益互相封锁资料,导致地质档案无法得到有效的利用。

1.2 地质资料的开发利用与资料保密处理不当

《地质资料管理条例》第十四条规定:地质资料馆和地质资料保管单位,应当建立地质资料的整理、保管制度,配置保存、防护、安全等必要设施,配备专业技术人员,保障地质资料的完整和安全。第十九条规定:地质资料馆和地质资料保管单位应当按照规定管理地质资料,不得非法披露、提供利用保护期内的地质资料或者封锁公开的地质资料。地质资料是地质工作价值的集中体现,当它实现项目所需的第一价值之后,一般就进入馆藏机构进行存储。但是地质资料还有后续价值,地质资料所承载的信息资源可以多次、长期、反复地开发利用。这样,一些国家保密矿种,国家规划矿区的地质资料一方面具有保密性,一方面又有开发利用的需求,这种矛盾显而易见。既不能一味强调保密,也不能无视《保密法》等相关规定,擅自开发利用,造成泄密。如何处理好利用与保密的关系、如何做到借阅有法可依、借阅有章可循,成为摆在所有档案工作者面前的一个难题。

1.3 地质资料的二次开发和深度开发效率较低

大量的地质资料源于长期勘探过程中的积累。如何发现已有资料的内部价值,以便延长其使用寿命,是摆在我国地矿工作者面前的紧迫任务,也是一项新的挑战。但是由于研究经费短缺、过去和现在成藏理论的限制、不同研究者研究角度不同结论不同等问题,使得我国地质资料二次开发利用率很低。据不完全统计,全国保存的非纸质介质地质资料,共有磁盘34.4万盒,磁带294.4万盒,胶片9.1万片[1]。但是由于有关人员对地质资料二次开发利用的重视程度不够,经费、人员也没有相应的落实,从而经验做法总结不够,没有形成对地质资料二次开发、深入开发的良好氛围。

2 地质资料管理面临的挑战

2.1 海量数据的提取面临新的挑战

在信息爆炸的今天,数据已经渗透到世界的每一个角落,且数据总量增长迅猛。据预测,未来每18个月,整个世界的数据总量就会翻倍,到2020年,世界的数据总量将会增长44倍[2]。以中石油勘探开发研究院为例,自1991年成立以来,已经累计积累了勘探开发资料71万件,其中包括探井36384口、生产井19617口井资料,以及研究院的各类档案92798万份,馆藏档案133186卷、786071件。面对不断丰富的馆藏资源,如何在海量的数据中快速而准确地检索到所需的信息,如何将档案资源转化为知识资源,传统的档案管理模式已经不足以满足工作需要。大数据时代的来临增加了地质资料寻找与提取的难度。

2.2 地质资料面临知识服务的挑战

大数据时代的资料用户已经不满足仅局限于数据或是文件的利用,而是希望能够获得数据背后的信息以及信息蕴藏的知识。与传统档案馆(室)藏资源或者其他应用相比,大数据时代下数字档案馆藏数量具有媒体形式多、数据量大的特点,大数据时代的用户需求变得更加个性化、多样化。特别是近年来,随着国际油价的持续攀升,矿权市场持续升温,地质资料的开发利用需求旺盛,地质资料管理人员转变为信息的咨询者和系统的服务者,这些都给地质资料的服务带来了挑战。

3 如何加强地质资料的管理

3.1 加强网络信息化建设

加强建设地质资料网络信息化建设,是提高地质资料利用率的有效途径。建立网络信息化可以实现声音、图像以及文字等多种形式的信息进行统一的处理、存储,改变了传统的地质资料信息管理只能着眼于纸张文字的单一表现形式,呈现给地勘人员更加丰富多彩的地质资料编研形式,提供了更加丰富鲜活的地质档案信息[3]。用微机对档案进行收集、筛选、加工,使之转化为微机软件形式的二次文件信息,从而作为电子文件数据提供利用。把纸质资料数据文件归档电子化,充分利用计算机、扫描仪,建立全文数据库,以便存储查找和利用,这既是地质工作现实的要求,也是档案管理的必然取向[4]

对地质资料进行现代化信息建设可以很好地实现资料的详细记录,可以为以后的相关决策提供有力的依据,在很大程度上避免了由于突发性事件或是蓄意破坏而发生的资料丢失现象。对地质资料进行信息化建设可以远程服务实现对地质资源的共享,在编纂地质文档资料的时候可以有效地缩短对地质文献信息及地质文档编著的时间,更快、更好地提高现代地质资料信息的利用率。

3.2 建立地质资料目录检索数据库

大数据时代提供了海量的数据,如何在最短的时间内最快地检索到需要的数据,成为摆在所有档案工作者面前的一大挑战。地质资料目录检索数据库很好地解决了这一问题。国土资源部出版了《地质资料档案著录细则》,对如何著录地质资料进行了详细指导。数据检索系统智能化程度很高,可以根据使用者的需求,输入任意关键词,例如资料名称、井名、勘查程度、矿种或是几个关键词的组合,均可以从数据库中检索出有关的地质资料信息,方便快捷地为地勘人员提供服务。

3.3 拓展地质资料开发利用的方式方法

技术水平直接影响服务的效率和质量,大数据为地质资料的开发利用提供了很好的平台。拓展地质资料的开发利用方式要充分利用现代化服务手段,提升现代化服务水平。重视现代地质资料服务系统、技术和标准的开发,力争在系统交换和传输技术、新方法、新手段上下功夫,推进地质资料的整合和共享。同时加快内网外网和电子政务平台的建设,加强行业和部门互动,形成多层次、多部门社会化服务网络系统,实现地质资料的开发利用和信息共享。同样重要的是,要同步更新离线服务和在线服务方式方法,提升服务效率。离线服务要突出数据加工和介质拷贝服务,在线服务要提供数据检索和下载服务,配合电子邮件、传真、电话等形式,为用户答疑解惑,提供信息服务[5]

3.4 加强地质资料的二次开发和深度开发

《国务院关于加强地质工作的决定》明确提出将“推进地质资料开发利用”作为新时期地质工作六大任务之一,充分体现了党中央、国务院对地质资料工作的高度重视,反映了经济社会发展对地质资料信息的迫切需求。地质资料具有形成成本高、应用范围广、可反复利用、经济社会效益潜力巨大等特点。地质资料的属性特征,决定了其直接价值和潜在价值远远大于其投资成本,决定了其反复永续利用的潜力。

地质资料的二次开发,绝不仅仅是对现有的地质资料进行第二轮简单的整理、归纳,而是以最新的找矿理论、技术和方法为指导,以改革创新的精神对原有的地质资料进行有效而又合理的加工、整理、归纳和总结,提炼出具有重要价值的信息资源。根据利用者的需求,组织相关的工作团队,通过人、财、物的投入,提高地质档案社会化服务附加值,从而推动地质资料的产业化[5]

2003年英国地调局运用成本效益分析法和增值法对其经济效益进行了评估,结果表明:英国地调局在2001年为英国所做的贡献相当于其年度营业额的850~1525倍。另外,据其他国家测算,地质产品中的地质图,即使按最小价值计算,其价值也是填图成本的25倍[1]。新中国成立以来,我国累计投入了大约5000亿美元的地勘费,形成了大量的地质资料,通过对丰富的地质资料开发利用,为国民经济和社会发展作出了重大贡献。在大数据时代,必须提高地质资料的利用率,加大资料二次开发和深度开发力度,围绕用户的需求而不断地创新服务,提供多方面的优质服务。

4 结语

在大数据时代,地质资料海量数据管理与服务发生深刻的变化,我们要不断加强专业知识的学习,积极探索新的管理模式和管理方法,以新思维、新技术、新举措对待地质资料的现代化建设,以便于更好地为地质勘探事业服务。

参考文献

[1]姚华军.深入贯彻学习《决定》大力推进地质资料开发利用[J].中国国土资源经济,2006(11).

[2]郑军,尹兆涛.中国石油应对“大数据的策略分析”[J].石油规划设计,2013,24(6):27~29.

[3]张艳霞.如何做好地质档案的全面管理工作[J].价值工程,2012(10).

[4]冯演.对做好地质资料档案管理工作的思考[J].中国城市经济,2010(11).

[5]马忠花.青海省地质档案的开发与利用研究[D].郑州:郑州大学,2011.

阅读全文

与地质大数据应用相关的资料

热点内容
有线电视升级失败 浏览:560
火绒安全把文件删掉了在哪里找 浏览:503
手机qq网络状态方框 浏览:225
哪里有文件纸袋 浏览:873
复制的东西能不能粘贴到空文件夹 浏览:876
酒店没有网络如何缴费 浏览:380
win10开机滚动很久 浏览:520
可对元数据实例进行的操作有什么 浏览:934
什么后缀的文件kit 浏览:295
word行书字体库下载 浏览:579
iosuc版本历史版本 浏览:14
电影字幕文件制作软件 浏览:723
windows10免密码登录 浏览:762
iphone5s跑步记步 浏览:978
手机网站设计怎么做好 浏览:322
中兴路由器修改密码 浏览:391
小米忘记压缩文件密码 浏览:716
cad哪些字体是形文件 浏览:2
word2007宝典pdf 浏览:46
lg电视如何连接网络 浏览:392

友情链接