地球科学大数据

⑴ 大数据技术

随着信息技术的发展，新型信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，大数据时代正式到来。2012年被称为“大数据元年”，因为在这一年“大数据”这个概念引起了人们的空前关注。首先是美国政府公布“大数据研发计划”，紧接着世界各国以及各大商业公司也对“大数据”给予了极大的关注。美国在“大数据研发计划”中，与空间数据关系最为密切的是联邦地质调查局和航空和航天局。

联邦地质调查局的科学家们合作完成对全面、长期数据的最新综合，进一步把大数据集和地球科学理论的大构想转换成科学发现，提高对地球系统科学问题的理解和应对能力，例如物种应对气候变化、地震复发率、下一代生态指标等。NASA用先进信息系统技术寻求成熟的大数据能力，以支持未来的地球观测任务，使得地球信息能为NASA气候中心的体系结构所识别，减少地球科学部的空基和陆基信息系统的风险、成本、规模和开发时间，提高科学数据的可访问性和实用性。NASA的地球科学数据和信息系统项目已经活跃了15年以上，旨在对地球卫星数据和空中与实地活动的数据进行处理存档和发布，努力确保科学家和社会公众可以满意地访问从地球到太空的数据，提升应对气候和环境变化的能力。NASA与Cray公司制定的太空行动协议，允许一个或多个项目围绕发展和应用低延迟“大数据”系统合作，使用高度集成的非SQL数据库传输数据，来加速建模和分析软件的运行，以测试混合计算机系统的实用性。此外，各种专用减灾卫星、遥感卫星、通信与导航卫星已广泛应用于地震、海啸、台风(飓风)、洪灾、旱灾、地质灾害和火灾等各种不同类型的灾害管理。

在我国，地学大数据的研究也已开始，国土资源部地质信息技术重点实验室地学大数据高性能计算应用环境搭建成功，已经对外开放。利用搭建的大数据及高性能地理数据计算平台，开展地质大数据综合处理、分析和应用研究，对于推进地质数据开发应用、提高服务效率具有重要作用。

⑵ 大数据下的地质资料信息存储架构设计

颉贵琴 胡晓琴

(甘肃省国土资源信息中心)

摘要 为推进我国地质资料信息服务集群化产业化工作，更大更好地发挥地质资料信息的价值，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。

关键词 大数据 地质资料 存储 NoSQL 双数据库

0 引言

新中国成立60多年来，我国形成了海量的地质资料信息，为国民经济和社会发展提供了重要支撑。但在地质资料管理方面长期存在资料信息分散、综合研究不够、数字化信息化程度不高、服务渠道不畅、服务能力不强等问题，使地质资料信息的巨大潜在价值未能得到充分发挥。为进一步提高地质工作服务国民经济和社会发展的能力，充分发挥地质资料信息的服务功能，扩大服务领域，国土资源部根据国内外地质工作的先进经验，做出了全面推进地质资料信息服务集群化产业化工作的部署。

目前，全国各省地质资料馆都在有条不紊地对本省成果、原始和实物地质资料进行清理，并对其中重要地质资料进行数字化和存储工作。然而，由于我国地质资源丰富，经过几十年的积累，已经形成了海量的地质资料，数据量早已经超过了几百太字节(TB)。在进行地质资料信息服务集群化工作中，随着共享数据量的不断增大，传统的数据存储方式和管理系统必然会展现出存储和检索方面的不足以及系统管理方面的缺陷。为了解决该问题，需要设计更加先进的数据存储架构来实现海量地质资料的存储。

而大数据(Big Data)作为近年来在云计算领域中出现的一种新型数据，科技工作者在不断的研究中，设计了适合大数据存储管理的非关系型数据库NoSQL进行大数据的存储和管理。本文将针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，提出一种海量地质资料存储架构，改进现有系统存储架构，以便于我国全面推进地质资料信息服务集群化产业化工作。

1 工作现状

1.1 国内外地质资料信息的存储现状

在美国，主要有两大地质资料公共服务平台，分别是地球科学信息中心(ESIC)、地球资源观测和科学中心(EROS)，其目的是通过为社会和政府提供更加便利、快速的地质信息服务。20世纪90年代初，澳大利亚出台了国家地球科学填图协议，采用先进的科学方法和技术进行数据存储，从而形成了第二代澳大利亚陆地地质图。

目前，我国地质资料信息服务集群化产业化工作刚刚起步，虽然国土资源部信息中心已经开发了地质资料信息集群化共享服务平台，并倡导各地方用户使用该系统。但由于各个地方早期的工作背景不一致，因此各地方所使用的存储系统也不尽相同，主要有Access、SQL Server、Oracle、MySQL等系统。本文以国土资源部信息中心开发的地质资料信息集群化共享服务平台的存储系统MySQL为例说明。该系统是基于关系数据库管理系统MySQL的一套分布式存储检索系统。该系统的部署使得我国地质资料信息服务集群化产业化工作取得了重大进展，同时也为我国建立标准统一的地质资料信息共享服务平台和互联互通的网络服务体系奠定了坚实的基础。然而，该系统的研发并没有考虑到地质资料信息进一步集群化以及在未来地质资料信息进入大数据时代的信息共享和存储管理问题，也没有给出明确的解决方案。

1.2 大数据的存储架构介绍

大数据是近年在云计算领域中出现的一种新型数据，具有数据量大、数据结构不固定、类型多样、查询分析复杂等特点。传统关系型数据库管理系统在数据存储规模、检索效率等方面已不再适合大数据存储。NoSQL(Not Only SQL)是与关系数据库相对的一类数据库的总称。这些数据库放弃了对关系数据库的支持，转而采用灵活的、分布式的数据存储方式管理数据，从而可以满足大数据存储和处理的需求。NoSQL基于非关系型数据存储的设计理念，以键值对进行存储，采用的数据字的结构不固定，每一个元组可以有不一样的字段，且每个元组可以根据自己的需要增加一些自己的键值对，可以减少一些检索时间和存储空间。目前，应用广泛的 NoSQL 数据库有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。

2 大数据下的地质资料信息存储架构设计

根据国土资源部做出的全面推进地质资料信息服务集群化产业化工作的部署，国土资源部倡导全国地质资料馆使用国土资源部信息中心开发的地质资料信息集群化共享服务平台，实现地质资料信息的存储和共享。该系统采用了数据库管理系统MySQL作为数据存储系统。

为了与现有系统和现有的工作进行对接，并为将来地质资料进入大数据时代后的存储工作做准备，本文设计了一种能用于海量地质资料信息存储并且兼容MySQL的分布式的数据存储架构(图1)。

整个系统可以根据不同的用户等级分为不同的用户管理层，由于图幅限制，在图1 中仅仅展示了3级：国家级管理层(即共享服务平台用户层)、省级管理层以及市级管理层(可根据实际需要延伸至县级)。

每级管理层的每个用户可以单独管理一个服务器。如国土资源部信息中心可以单独管理一个服务器；甘肃省国土资源信息中心可以单独管理一个服务器，陕西省国土资源信息中心可以单独管理一个服务器；甘肃的若干个市级国土资源局可以根据需要分别管理各自的服务器。

在服务器上分别安装两套数据库管理系统，一套是原有的MySQL数据库管理系统，另一套是为大数据存储而配备的NoSQL型数据库管理系统。在服务器上还专门开发一个数据库管理器中间件，用于进行用户层和数据库的通信以及两套数据库之间的通信。

由于各个管理层都各自维护自己的数据库和数据。当用户需要进行数据存储时，他所影响的数据库仅仅是本地数据库，存储效率较高；当用户需要从多个数据库读取数据时，顶层的共享服务平台会根据用户需求进行任务分解，将任务分发给下层的管理层进行数据库读取，由于各个数据库并行读取，从而提高了数据库读取效率。

图1 大数据下的地质资料信息存储架构框图

2.1 用户管理层

用户管理层根据权限范围，分为多层(本文以3层为例)。

位于顶层的国家级管理层(共享服务平台用户层)负责用户访问权限的分配、与其直接关联的数据库的访问、下级管理层任务的分配等工作。

用户访问权限的分配是指为访问本共享服务平台的个人用户和单位用户分配数据的使用权限、安全性的设计等。

与其直接关联的数据库访问是指直接存储在其本地数据库上的数据的访问。在该数据库中不仅要存储所需要的地质资料，还要存储注册用户信息等数据。

下级管理层任务分配是指如果用户需要访问多个下层数据库，用户只需要输入查询这几个下层数据库的命令，而如何查找下层数据库则由该功能来完成。例如某用户要查找甘肃、陕西、上海、北京的铁矿分布图，则用户只需要输入这几个地方及铁矿等查询条件，系统将自动把各个省的数据库查询任务分派到下级管理层。

同理，位于下层的省级管理层和市级管理层除了没有用户访问权限功能外，其余功能与国家级管理层是相同的。各层之间的数据库通过互联网相互连接成分布式的数据库系统。

2.2 MySQL和NoSQL的融合

MySQL是关系型数据库，它支持SQL查询语言，而NoSQL是非关系型数据库，它不支持SQL查询语言。用户要想透明地访问这两套数据库，必须要设计数据库管理器中间件，作为用户访问数据库的统一入口和两套数据库管理系统的通信平台。本文所设计的数据库管理器简单模型如图2所示。

图2 数据库管理器模型

服务器管理器通过用户程序接口与应用程序进行通讯，通过MySQL数据库接口与MySQL服务器通讯，通过NoSQL数据库接口与NoSQL数据库接口通讯。当应用程序接口接收到一条数据库访问命令之后，交由数据库访问命令解析器进行命令解析，从而形成MySQL访问命令或者NoSQL访问命令，通过相应的数据库接口访问数据库；数据库返回访问结果后经过汇总，由应用程序接口返回给应用程序。

两套数据库可以通过双数据库通信协议进行相互的通信和互访。此通信协议的建立便于地质工作人员将已经存入MySQL数据库的不适合结构化存储的数据转存到NoSQL数据库中，从而便于系统的升级和优化。

2.3 系统的存储和检索模式

在本存储框架设计中，系统采用分布式网络存储模式，即采用可扩展的存储结构，利用分散在全国各地的多台独立的服务器进行数据存储。这种方式不仅分担了服务器的存储压力，提高了系统的可靠性和可用性，还易于进行系统扩展。另外，由于地质资料信息存储的特殊性，各地方用户的数据存储工作基本都是在本地服务器进行，很少通过网络进行远程存储，所以数据存储效率较高。

在一台数据库服务器上安装有MySQL和NoSQL型两套数据库管理系统，分别用于存储地质资料信息中的结构化数据和非结构化数据。其中，NoSQL型数据库作为主数据库，用于存储一部分结构化数据和全部的非结构化数据；而MySQL数据库作为辅助数据库，用于存储一部分结构化的数据，以及旧系统中已经存储的数据。使用两套数据库不仅可以存储结构化数据而且还可以适用于大数据时代地质资料信息的存储，因此系统具有很好的适应性和灵活性。

2.4 安全性设计

地质资料信息是国家的机密，地质工作人员必须要保证它的安全。地质资料信息进入数字化时代之后，地质资料常常在计算机以及网络上进行传输，地质资料信息的安全传输和保存更是地质工作人员必须关注和解决的问题。在本存储架构的设计中设计的安全问题主要有数据库存储安全、数据传输安全、数据访问安全等问题。

数据库设计时采用多边安全模型和多级安全模型阻止数据库中信息和数据的泄露来提高数据库的安全性能，以保障地质信息在数据库中的存储安全；当用户登录系统访问数据库时，必须进行用户甄别和实名认证，这主要是对用户的身份进行有效的识别，防止非法用户访问数据库；在对地质资料进行网络传输时，应该首先将数据进行加密，然后再进行网络传输，以防止地质信息在传输过程中被窃取。

3 结语

提高地质资料数字化信息化水平，是国外地质工作强国的普遍做法。为推进我国地质资料信息服务集群化产业化工作，本文针对我国现有的地质资料信息集群化共享服务平台存在的缺陷和问题，利用大数据存储管理模式的思想，基于现有系统的存储架构，设计了一种大数据下的地质资料信息存储架构，以便于我国地质资料信息服务集群化产业化工作能够适应大数据时代的数据存储。该存储架构的设计只涉及了简单模型的构建，具体详细复杂的功能设计和软件实现还需要在进一步的研究工作中完成。

参考文献

[1]吴金朋.一种大数据存储模型的研究与应用[D].北京：北京邮电大学计算机学院，2012.

[2]吴广君，王树鹏，陈明，等.海量结构化数据存储检索系统[J].计算机研究与发展，2012，49(Suppl)：1～5.

[3]黄

，易晓东，李姗姗，等.面向高性能计算机的海量数据处理平台实现与评测[J].计算机研究与发展，2012，49(Suppl)：357～361.

⑶ 可持续发展科学卫星1号发射成功，什么是可持续发展科学卫星

可持续发展科学卫星是：由中国科学院“地球大数据科学工程”先导专项研制的。提供可持续发展研究所需要的数据支撑的卫星。

可持续发展科学卫星1号有三个特点：1、搭载的成像仪多。2、观测范围广。3、技术高精尖。以下详细解释这三方面。

3、技术高精尖：可持续发展科学卫星集成了多种高精尖技术，一颗卫星就实现了大数据收集—大数据存储—大数据管理—大数据科学分析—可视化这一完整过程。在这巨大的技术成功之下，为建立地面的大数据研究中心奠定了坚实的基础。也为收集和分析更多以及精细化的数据提供了可靠的保障。从这颗卫星的发射可以看出我国已经进入科技创新大国的前列。

⑷ 唤醒“沉睡”的科学大数据 蕴藏巨大价值

唤醒“沉睡”的科学大数据 蕴藏巨大价值

大数据时代，正在以一种不可阻挡的态势到来。

近日，国务院印发并对外公布《关于促进大数据发展的行动纲要》，提出要大力发展大数据产业。这意味着国家层面对于大数据的重要性有着清醒的认识。同时，大数据相关产业也必然将迎来新的发展高峰期。

作为大数据的一个分支，科学大数据无疑有着独特性。来自科研领域的大数据如何走向社会化？科学家累积的数据能否成为产品？如何加速科学大数据的转化？在日前举办的2015科学数据大会上，与会专家就此进行了探讨。

科学数据蕴藏巨大价值

大数据时代的到来，似乎超出人们的想象。而数据累积与增长的速度，也似乎超出人们的预估。

中科院院士郭华东介绍说，谷歌每天的运算数据是20PB(1PB为1拍字节，等于250字节)，欧洲核子中心每天产生的数据量约有15PB，而全球变化数据量在2030年预计达到350PB。

科学数据蕴藏着巨大价值。例如，从海洋卫星、气象卫星、资源卫星等获得的空间地球大数据，在保护生态环境、评估土地资源、预防自然灾害等方面起着重要作用。

再比如，中科院寒旱所在我国寒区旱区开展了长达数十年的研究，并由此积累了大量数据。这些数据对于政府、企业有着巨大价值。

中科院寒旱所寒区旱区科学数据中心副主任张耀南介绍说，目前寒旱所部署在全国的观测点有5万多个，覆盖国土面积的近2/3，在寒旱区冰川、冻土、积雪、沙漠、高原大气、生态环境、水文土壤及内陆河流域等方面积累了相当可观的数据量。但“如何让科学数据社会化，是一个需要解决的问题，也亟待探索”。

国际数据公司的统计显示，中国目前拥有的数据量占全球的14%，但数据利用率不到0.4%。大量数据仍在“沉睡”，未能充分发挥自身价值。

绕不开的障碍

对于科学数据的社会化，科学家不是没有做过努力。比如，中科院遥感地球所成立了中科遥感信息技术有限责任公司(以下简称中科遥感)，旨在加速推进中科院遥感与空间信息技术成果的转化与产业化，并向外界提供大数据相关服务。

然而，中科院遥感地球所研究员、中科遥感总裁任伏虎表示，出于行业保护、政策因素等原因，目前科学数据的开放程度还不够，这影响了其社会化进程。

此外，虽然科学数据大多由科学家提供，但科学数据的产生与累积离不开国家科技计划、基金项目的支持。这就导致了一个现实问题：科学数据一旦开放共享产生价值，其获得收入的分成情况不好处理。钱到底是给科学家个人，还是给政府，是一个令人头痛的问题。而科学家一旦不能获得适当收入，其积极性也会受到影响。

长期在中科院从事信息化工作的研究员吴钰表示，目前材料基因组研究已经获得一定程度的进展，这就是科学数据开放利用的成果。但不能因此忘记开放中的风险问题，“信息安全问题不能忽视，一些数据的泄漏会产生严重后果。不过，我们也无须过分害怕这个问题”。

主动拥抱市场

科学数据的社会化无疑是大势所趋。那么，怎样为其提供“加速度”呢？

“毫无疑问，科学数据要主动拥抱市场。科研人员提供的数据要瞄准企业需求。”任伏虎表示，同时要形成良好的市场机制，让科学家获得收益。

复旦大学教授朱扬勇也表示，只要社会有需求，科学数据就可以交易；只要交易，就能产生价值。至于科学家的收益问题，可参照专利转让的做法，通过技术入股方式，让科学家、机构从企业获得合理报酬。

吴钰则认为，要加速推动科学数据为创新驱动发展提供动力，让科学数据在智能制造、生物技术等领域大有可为。“至于让科学数据的价值得到体现，在政府层面，可考虑建立相应的政府采购制度，让政府购买服务。”

张耀南表示，在科学数据社会化的具体过程中，专业人才不能缺位。科学数据的来源相对比较狭窄，社会各界此前较少了解科学数据的社会、经济效应。因此，需要专门人才进行科学数据社会化的推介工作。“总之，必须重视科学数据的科普与营销工作。”

以上是小编为大家分享的关于唤醒“沉睡”的科学大数据 蕴藏巨大价值的相关内容，更多信息可以关注环球青藤分享更多干货

⑸ 英科学家认为大数据正在将地球“比特”化，未来可能造成资源枯竭

Live Science

英国朴次茅斯大学物理学家Melvin Vopson对地球的未来忧心忡忡。他认为，虽然信息是无形的，但信息可能是有质量的。“二向箔”毁灭了太阳系，而人类发明的“比特”可能会吃掉地球。

当前全球数字信息的总量大约是10²¹比特，且在迅猛地增长着。这其和团中有90%是最近10年才产生的。假设数字内容每年的增长率为20%，那么350年后，地球上的“比特”总量将比组成地球的原子总量（大约是10⁵⁰）还要多。而为了维持这些信息存在，地球将被逐渐“吃掉”。

1961年，物理学家罗尔夫·兰道尔（Rolf Landauer，也译作朗道）提出过一个观点，认为既然删除“比特”会产生热量，那么在信息和能量之间应该存在着关联。近年来有一些科学家正在试图通过实验，来验证“兰道尔原理”是否正确。而Vopson更进一步，认为信息和质量之间也存在着关联性。

他的这一观点，受到了爱因斯坦质能方程E=mc²的影响。爱因斯坦质能方程认为，能量和质量是可以互相转换的。Vopson因此认为，如果“比特”有能量，那么它也应该是有质量的。换算得到的结果是，1比特的质量，大约相当于1个电子质量的1000万分之一。

当前人类 社会 每年产生的“信息质量”总和其实是微不足道的，大约只相清镇当于一个大肠杆菌。但是假如信息总量以每年20%的速度递增，那么用不了500年，地球质量的一半会变成“比特”。而假如这个速度是50%，那么在公元2245年前，地球质量的一半就会变成“比特”。

Vopson认为这是一个危机。是一个和石油危机、白色污染和森林退化一样的危机。虽然人们今天很可能认识不到这个危机的严重性，但它正在缓慢地，一个“比特”一个“比特”地吞噬这个行星。

Vopson同时还认为，这一结论仍是保守的。根据国际数据公司的报告，唤正橘当前全球数据总量的增长速度实际上达到了每年61%。因此灾难完全有可能提前到来。而解决方案，是需要有新的数据存储技术，能够把信息保存在没有物理实体的介质上。