❶ 数据库建设
(一)数据准备
1.数据收集
1∶25万遥感地质填图数据包含影像数据和矢量数据两种格式,影像数据主要包括:TM原始影像、SPOT原始影像、SAR原始影像、TM与SPOT融合影像、TM与SAR融合影像、信息增强分类处理后的整幅影像或影像子区;矢量数据主要包括:航磁等值线影像、1∶25万地形图、地质图、航磁解译地质图、遥感解译单元图、遥感解译地质图。现以新疆瓦石峡地区、内蒙古阿龙山地区为例,具体情况如下:
(1)瓦石峡地区
TM卫星影像
SAR卫星影像
航磁等值线(TIF)影像
航磁解译地质图
地质图
遥感解译影像单元图
遥感解译地质图
(2)阿龙山地区
TM卫星影像
SPOT卫星影像
航磁等值线(TIF)影像
地质图
航磁解译地质图
遥感解译地质图
2.数据预处理
1)影像数据处理,主要针对原始影像数据
(1)将TM原始影像、SPOT原始影像、SAR原始影像、航磁等值线(.JPG)数据格式转换为ERDAS的.IMG格式。
(2)对转换后的IMG文件进行投影转换。投影系采用6度分带的横轴墨卡托(Transverse Mercator)投影,投影参数为:
Units:Meters
Scale Factor:1.0
Longitude Of Center:123 00 00
Latitude Of Center:0 00 00
False Easting:500 KM
False Northing:0 KM
Xshift:0
Yshift:0
椭球(spheroid)体采用克拉索夫(Krasovsky)椭球,参数为:
SemiMajor:6378245.0000 Meters
SemiMinor:6356863.0188 Meters
坐标系采用大地坐标,度量单位为米,这样可以在GIS系统中方便的量算特征的长度和面积。
(3)图像坐标纠正
参照地形图选择同名点,对影像数据进行坐标精校正。同名点的选择不少于12个。
2)矢量数据处理
工作主要针对地质图、航磁解译地质图、遥感解译单元图、遥感解译地质图。
(1)数据分层
根据图面特征信息内容和制图要求,每幅矢量图按特征类型划分为点、线、面(区)三个图层。划分的依据是遥感地质解译图件的信息不完全等同于其他地质调查图件,它表现的内容主要是:从影像图中判读出的地层、岩石影像单元及构造界线,但各种地质特征的单位、时代、分类、度量、结构、方向等的描述不是十分具体,因此在属性定义上比较一致,对一个图件不需要产生基于同一特征类型的专题图层,因此按矢量特征类型划分较为合理、简便。
(2)图件扫描矢量化
将地质、影像单元等图件扫描成 TIF影像文件,按照分层要求,将每个图件数字化为点、线、面三个图层文件。处理的图件和产生的矢量图层文件见表3-1至3-7。
表3-1 矢量图层表
1∶25万遥感地质填图方法和技术
c.面特征:由于影像单元图的面特征描述有其特殊之处,有时遵照地层、岩石的分类方法国家标准,但绝大部分是按照影像颜色、纹理等划分和称谓,因此进行分类编码十分困难,有待进一步研究解决。
以上编码方法是在每种特征类型组合最大值和预留一定的扩充余地的基础上编制的,编码方案参照国标:GB958—89区域地质图图例(1∶5万)
(6)属性定义
说明:由于地质代号的组成方式极为复杂,使用了上下角标、希腊字符、拉丁字母等,而这些字符和格式在纯文本的属性字段中是不能完全或准确表达的,因此在录入时对地质代号进行了一些简化。
例如:Pt2xh简化为Pt2xh
简化为An1—3
(二)建立数据库
GIS空间数据库有两种存储形式:一是基于文件索引的传统空间数据库管理体系;二是采用商用关系数据库的解决方案,二者各有千秋。第一种结构是对应用的集成,而数据是松散的,虽不利于数据的集中管理,但对不同系统平台之间共享数据提供了很大方便,特别是数据较少的小型应用系统。这种结构的另外一个可取之处是方案简单,工作量小,不需要数据库方面的专业知识。第二种结构既是应用的集成,也是数据的集成,并且提供所有的RDBMS的数据和安全管理优势,但它需要专用的空间数据引擎,对其他软件使用数据是一个极大的限制,必须进行数据的导入导出和格式转换,并且要求使用者对RDBMS有一定的操作和管理经验。
由于本集成系统采用的是ARC/INFO和ERDAS软件,它们之间只能达到文件方式的数据共享,虽然ARC/INFO 8提供了GeoDataBase这种关系数据库管理模式,实现真正的空间数据集中管理和RDBMS所有的数据管理能力,但为了满足两个软件之间数据的交互处理,本系统采用文件索引形式的数据库。在数据完备的基础上,建库工作需以下两个步骤:
(1)首先创建基于项目的不同格式、不同类型的目录树工作区,把所有数据文件分类保存在这个工作区中,工作区框架以瓦石峡幅数据为例(图3-5)。
(2)然后在 ARC/INFO 的 ARCMAP中新建一个 MAP DOCUMENT(以下简称为文档),添加所有数据文件到文档中。文档中每个数据文件都被称为一个 LAYER(以下简称为层),每个矢量层可以有它自己的环境,文档可以保存环境的变化。使用者只需打开这个文档即可调用项目所有的数据文件,并且恢复到上一次工作时的状态。
图3-5 数据分层结构图
在MAP DOCUMENT这种集成的数据环境下,使用者可以采用ARC/INFO 8的ARCEDITOR、ARCMAP参照影像图层进行矢量化的解译工作,对已形成的图件直接进行图形和属性编辑,进行辅助解译的空间分析,对各种图件进行叠加比较,使用文字标签或属性字段标注特征,按照分类符号化特征,制作专题图,打印输出图件报表等,实现一系列与遥感解译有关的功能和操作。
由于ARC/INFO提供的地质图式图例和符号不能满足我国的地质成图要求,因此制图软件采用地质行业较为通用的MAPGIS。通过ARCTOOLS工具将最终的解译成果矢量地质图转换为ARC/INFO的标准交换格式E00,提交给MAPGIS形成绘图文件,出版印刷。具体的实施方案和技术流程见“成果图件制作方法研究”一节。
❷ 数据库建设方案及数据质量检查标准
1 .制定调查资源整合方案
通过合理编码方式理顺各类数据间的关系,保证不同类别数内据的紧密性,完整容体现地学资料数据的多源性和空间性。
2.数据库建设标准
根据资源整合方案,利用关系数据库技术和空间数据库技术,建立CO2地质储存调查数据库,有效储存和管理各种空间数据和属性数据,保证数据间的逻辑合理性,达到充分利用调查数据,并快速输出数据的目的。
3.数据质量检查标准及方法
根据资源整合方案,制定数据质量标准,开发相应质量检查软件,对数据进行质量检查,确保入库数据的有效性和合法性。
❸ 数据平台建设的方案有哪几种
1、常规数据仓库
数据仓库的重点,是对数据进行整合,同时也是对业务逻辑的一个梳理。数据仓库虽然也可以打包成SAAS那种Cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题。
2、敏捷型数据集市
数据集市也是常见的一种方案,底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。数据集市,主要的优势在于对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。
3、MPP(大规模并行处理)架构
进入大数据时代以来,传统的主机计算模式已经不能满足需求了,分布式存储和分布式计算才是王道。大家所熟悉的Hadoop MapRece框架以及MPP计算框架,都是基于这一背景产生。
MPP架构的代表产品,就是Greenplum。Greenplum的数据库引擎是基于Postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。
4、Hadoop分布式系统架构
当然,大规模分布式系统架构,Hadoop依然站在不可代替的关键位置上。雅虎、Facebook、网络、淘宝等国内外大企,最初都是基于Hadoop来展开的。
Hadoop生态体系庞大,企业基于Hadoop所能实现的需求,也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。企业搭建大数据系统平台,Hadoop的大数据处理能力、高可靠性、高容错性、开源性以及低成本,都使得它成为首选。
关于数据平台建设的方案有哪几种,环球青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
❹ 空间数据库建立
在遥感图像处理系统空间数据库的建立过程中,由于我们的大部分资料来源于现有的地图,因而以地图的数据处理,采用扫描矢量化的数字化手段进行数据录入,各种地图处理,数据入库工作流程可分为预处理、图形扫描数字化、图层数据建立拓扑关系、建属性数据库、图层矢量数据与属性数据联接、投影转换、图幅拼接、图面整饰、数据入库九个阶段。如图7-9所示。
图7-9 数据采集工作流程图
(1)图形预处理
资源信息是多源和多尺度的。毫无疑问,对这些资料的初步整理是数字化工作进程的重要一环。
本系统将采用统一的坐标系统,坐标系为1980西安坐标系,高程系为1985国家高程基准。所有的图形数据均应该转换到此坐标系。
(2)图形扫描数字化
在地图数据采集过程中,由于地图原图质量、内容、比例尺和扫描过程中的种种因素,根据纸介质地图的图形要素和彩色特征提取的分层图仍会带有各种噪声以及不需要的其他一些信息,为了获得正确的、干净的数据,在数字化之前,要进行二值化、去脏、光滑、断线修补、细化处理等预处理步骤。
(3)图层数据建立拓扑关系与图形编辑
矢量化后的各图层,利用ArcGIS软件提供的功能建立拓扑关系,在建拓扑关系时会发现图形数据错误,要进行编辑、修改,再重新建立拓扑关系,这一过程可能做多次,直到数据正确为止。
(4)建属性数据库
按已采集的属性数据表,和标准规定格式,利用通用的数据库管理软件建立分层数据库,文字型数据要按标准代码录入。
(5)图层矢量数据与属性数据联接
按图元编码(用户ID)将矢量数据与属性数据联接。对于已建立联接的各类空间数据和属性数据,通过ArcGIS 系统对它们做进一步的编辑和修改,确保数据库的准确性和完整性。在ArcGIS 系统中,图形数据被分成“点”、“线”、“面”三种几何要素,它们都有各自相关的属性,在进行拓扑处理后,这三种要素间便拥有了相关的空间拓扑结构,这种空间数据关系与相应的属性数据是一种动态联结关系,这也是在ArcGIS系统中能够进行空间分析的关键所在。属性数据的编辑可通过ArcGIS系统的数据库管理系统进行数据结构定义(如数据项名称、类型、长度等)、数据编辑(如插入、删除、拷贝等)、数据查询检索等等,形成可供使用的属性数据库。
(6)投影转换
同一工作区可能利用不同比例、不同投影的图件,要对不同来源、不同时间分辨率和空间分辨率的点、线、面数据进行计算,在拼接图层之前必须对它们进行投影转换,使最终形成的图层均投影到一个坐标系统。
(7)图幅接边
图幅接边的目的是要保持图面数据连续性。工作区有多幅图构成,按上述步骤每幅图分层建立起图层之后,要对各相邻图幅分层进行拼接,图幅的接边精度要满足相应比例尺的国家精度要求。各图层中线图元或面图元拼接后其图元编号要进行改变,在右边图幅中的图元拼接后用左边图幅内的图元编号,下边图幅的图元改用上边图幅的图元编号。其属性数据也要合并为一个,属性数据结构不相同的图元(线或面)不能进行图幅拼接。对于一些图面标注的内容也要做相应的调整。到现在为止,已完成了图形库的建立工作。拼接完成后,仍按图幅分开储存与管理。
(8)数据入库
前面数据处理的目的都是为了使图形进入GIS数据库系统中,以作为其他应用系统的数据基础。图形数据将采用空间数据管理方式、利用系统软件将所有图形及属性统一存放于Oracle之中。
(9)图件输出与图面整饰
在每一图幅数字化完成后,或工作区各图幅分层拼接之后,要对图面标注内容逐一添加到图面上。按有关图例符号标准和用色标准对相应点、线、面图元的线型、符号、颜色进行设置定义。再就图名、图例、比例尺及其图面内容整饰后,输出图件成果。
(10)数据质量控制
检查内容包括数据完整性、逻辑一致性、位置精度、属性精度、接边精度、现势性等是否符合国家标准及有关技术规定。专题图形数据库建设质量控制的方案如下:
建立数据采集标准规范,详细阐述不同要素的采集要求,作为数据采集的根本基准,统一采集认识。
进行数据采集人员培训,熟练使用采集软硬件,掌握采集规范,采集过程中填写详细的图例簿,统一图例簿格式,记录每幅图数据生产过程的基本情况,特别是作业时遇到的问题及处理意见,质量情况等。
数据质量控制采用分级分层管理方式,首先,数据生产操作人员在数据采集过程中严格遵守数据采集规范标准,采集后进行数据的第一次检查;其次,数据库集成人员进行第二次数据质量检查;最后,系统总工随机抽样检查。
检查方式多种多样,这里主要采用以下3种:屏幕视觉检查,打印出图检查,查错软件检查。
❺ 分等数据库的建设
(一)农用地分等数据的组成
农用地分等数据成果丰富,按照农用地分等的流程可分为自然质量分、自然质量等指数、自然质量等别、土地利用系数、土地经济系数、利用等指数、利用等别、经济等指数和经济等别;按照农用地分等数据的性质可分为空间数据、属性数据、文本数据。为使农用地分等成果能够方便、直观地展现国家级、省级、县级、乡级各级农用地的质量与数量特征,实现对农用地分等数据的查询、分析、融合、分发等功能,必须建立一套统一、规范化的数据管理体系。这套体系能够从农用地分等的基础资料、中间成果和农用地分等成果(图、文、表)等海量数据中提取信息,供汇总平衡、调整、分析,为各级政府部门制定相关政策提供技术支持,是土地信息化的坚实基础,对各级农用地的数据(包括属性数据和矢量数据)进行更新、查询、检索和集成,建设农用地分等数据库。
农用地分等数据库的建设是实现土地资源数量、质量、产能与生态环境并重管理及国土信息化工程建设的基础保障,是实现国土资源现代化管理、社会化服务的必要前提,也是各级政府和国土资源管理部门切实保护基本农田、实施耕地占补按等级折算的重要手段。广西壮族自治区农用地分等自治区级与县级农用地分等成果主要包括文字成果、图件成果、数据成果和电子成果。
1.文字成果
文字成果主要包括自治区级与县级农用地分等技术报告(包含县级农用地分等基础资料汇编等)。农用地分等技术报告主要包括4个方面的内容:一是分等对象所在区域的自然、经济和社会概况;二是分等技术方法,包括分等参数的确定,分等因素指标区、分等单元、土地利用系数等值区与土地经济系数等值区的划分方法,分等因素及其分值和权重的确定方法,等别划分方法,分等成果检验与调整方法,计算机技术在分等中的应用以及其他需要说明的技术问题等;三是分等成果及其分布特点和规律、地域组合特点、差异原因、农用地利用中存在的主要问题等;四是分等成果的应用分析。
2.图件成果
图件成果具体包括分等单元图、农用地自然质量等别分布图、农用地利用等别分布图、农用地经济等别分布图、标准样地分布图。
3.数据成果
数据成果包括广西壮族自治区的农用地分等单元原始属性数据表、样点投入产出调查数据表、农用地分等基本参数表、各指标区“指定作物-分等因素-自然质量分”记分规则表、农用地分等各指标区分等因素体系及其权重表、土地利用系数与土地经济系数汇总表、土地利用系数等值区间表、土地经济系数等值区间表、自治区级农用地分等单元指定作物计算结果表、自治区级农用地分等单元多作物综合计算结果表、农用地分等结果各乡(镇)面积汇总表、农用地分等结果各地类面积汇总表、自治区级农用地分等单元综合数据表、农用地标准样地属性数据表等,部分表格见附录。
4.电子成果
广西壮族自治区农用地分等电子成果用光盘或硬盘保存,提交的农用地分等成果包括文字、图件和数据等成果的电子版本。
(二)农用地分等数据库建设的依据与内容
1.农用地分等数据库建设的依据
农用地分等数据库建设首先要依据分等数据的特点:一是信息量巨大;二是数据与信息种类多种多样,按数据的特征分为属性数据和矢量数据,按数据的来源和性质分为农用地自然属性和社会经济属性,这些数据涉及土地学、农业学、地理学、测绘学、信息学和经济学等众多学科;三是成果具有复杂多层次的特征。其次,依据《农用地分等数据库标准》,农用地分等成果数据的内涵、特点及其应用需求,设计农用地分等数据库建设方案,按照《农用地分等规程》对农用地分等的各个环节及其成果数据进行整合加工标准化处理,把农用地分等成果的矢量数据和属性数据,通过关联式数据系统储存、管理、整合在一起,建立统一、规范的农用地分等数据库。
2.农用地分等数据库建设的内容
农用地分等数据库建设的内容主要包括农用地分等数据的分类编码、农用地分等数据的图形要素分层、农用地分等数据的属性数据结构、分等单元扩展属性结构、外部表格信息和农用地分等数据文件命名6个方面的内容。
农用地分等数据的分类编码包括基础地理信息分类与编码、土地利用信息分类与编码和分等基础信息分类与编码。
农用地分等数据的属性数据结构内容复杂,主要包括基础地理、土地利用类图层属性表、注记属性表结构、县级分等基础层属性表结构、县级分等结果层属性表结构、自治区级分等基础层属性表结构、自治区级分等结果层属性表结构等内容。
分等单元扩展属性结构包括指定作物分等计算结果表结构和县级综合等别计算表结构。
外部表格信息包括指定作物参数表结构、“指定作物-分等因素-分值”说明表结构、“指定作物-分等因素-权重”说明表结构、标准样地属性特征基准分值表结构、“县级-自治区级”农用地分等单元对应表结构、县级文档结果和自治区级文档结果。
农用地分等数据文件命名规则包括以行政区为基础的数据文件命名规则和文档数据文件命名规则等内容。
(三)数据库系统的设计思想和目标
广西壮族自治区农用地分等数据管理信息系统的设计思想是以地理信息系统(GIS)为平台,在计算机软硬件支持下,把各种地理信息按照空间分布,以一定的格式输入、存储、检索、更新、显示、制图和综合分析的计算机技术系统。利用该系统,通过对农用地诸多因素(自然因素和社会经济因素)的综合分析,找出农用地变化的特点与规律,从而迅速地获取满足应用需要的信息,并能以地图、图形或数据的形式表示处理的结果。
1.系统的设计思想和目标
广西壮族自治区农用地分等数据管理信息系统的设计是在充分研究和总结土地利用管理的实际工作需求和吸收目前计算机技术在土地管理中的应用经验的基础上,结合国土资源部新一轮国土资源大调查中《县级土地利用数据库标准》和《县(市)级土地利用数据库建设技术规范(征求意见稿)》而制定的。系统的设计综合了以下几方面的技术:①数字制图技术;②计算机的自动查询、检索分类、计算统计技术;③空间查询和分析技术;④空间信息的存储管理技术;⑤计算机网络技术。配套统一以上技术,将地理信息系统(GIS)技术应用到系统的设计中,形成系统基本的设计思想,即按照农用地分等数据的规范和标准,建立起农用地分等数据管理的技术路线和工艺流程,按照GIS的要求严格控制入库数据的精度;提供方便、快捷的实用工具,提高数据库的利用率和满足国土资源管理部门的工作需求;利用地理信息系统中的空间分析功能,完成对数据库的动态更新,维持数据库的现势性。
广西壮族自治区农用地分等数据管理信息系统设计的基本目标是满足国土资源管理部门对农用地分等数据的管理需求,提高土地管理的效率和质量,并且充分利用计算机技术来减轻土地管理工作的劳动强度,最终实现土地管理的信息化,构建“数字国土”工程的基础设施。
2.数据入库
数据入库前要检查采集数据的质量,检查合格的数据方可入库。数据检查主要包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接边精度和完整性检查等。数据入库主要包括矢量数据、DEM数据、DOM数据、元数据等数据的入库。最后进行系统测试(图3-17)。
图3-17 入库工作流程图
数据入库前要对采集数据进行全面质量检查,并对错误进行改正,数据的检查与更正是数据建库中至关重要的一步。
(1)按照《县级土地利用数据库标准》、《农用地分等规程》等相关标准确定检查项,包括矢量数据几何精度和拓扑检查、属性数据完整性和正确性检查、图形和属性数据一致性检查、接
边完整性检查等。
(2)基于上述检查项,定制检查内容,配置相应的参数。
(3)按照定制的内容,系统自动实现批量检查,也可以采用人机交互方式对重点内容进行检查,对发现的错误及时修正。
(4)自动生成或手工编写检查报告,检查与更正工作结束(图3-18)。
图3-18 数据检查流程图
1)矢量数据入库
(1)数据检查。数据入库前,对矢量数据质量进行全面检查,并记录检查结果,对质量不合格的数据应予以返工,质量检查合格的数据方可入库。
(2)参数输入及其数据组织入库。依据参数设置的要求,向数据库管理系统中输入各种建库参数,对不同数据层的数据建立索引等,各要素数据可分层入库,也可批量入库。
(3)多尺度空间数据连接设置。对于多尺度空间数据库应设置连接参数,便于不同比例尺数据的显示。
2)元数据入库
利用数据库管理软件,采用人工和自动相结合的方法对各要素元数据内容进行检查和处理,导入各种元数据。
3)属性入库
利用Excel软件输入分等评价单元质量分值表,形成分等评价单元自然属性电子表格文件;再将各评价单元的土地利用系数和土地经济系数进行汇总,划分各等值区;然后,汇总到分等评价单元自然属性表中,计算农用地分等单元的自然质量等指数、利用等指数和经济等指数;利用相关软件将整个Excel总表转换到数据库中,存为DBASE格式文件;最后,根据关键属性字段挂接,使图、表合一,形成统一的空间数据库。
4)系统运行情况
数据入库完成后,对系统进行全面的测试;并对测试出现的问题进行全面分析和处理。
具体测试内容及要求为系统运行无死机现象;系统能对数据库中数据层进行组合查询,且数据结构正确;系统能够对数据进行汇总统计并输出相关表格成果;系统能按要求输出相关图件,等等。
(四)系统设计总体框架图
广西壮族自治区农用地分等评价数据管理系统横向包括农用地调查评价基础业务工作,纵向涵盖国家、省、市、县四级国土资源管理部门,其总体框架如图3-19和图3-20。
图3-19 总体框架横向结构图
图3-20 总体框架纵向结构图
(五)数据库系统功能的实现
依据农用地分等成果和土地利用管理的需求,该系统应具有以下基本功能:
1.系统建库
系统建库是指把农用地分等成果及其涉及的信息用计算机存储起来,它具有两个方面的含义:一是全面进行数字化建库,采用MapGIS的数据结构和几何特征的描述术语,输入农用地分等数据;还可在已有的图形数据库的基础上进行建库,可利用MapGIS平台提供的数据转换和属性管理工具把图形和属性转换到系统中来;二是变更数据,根据农用地分等进展情况,及时更新农用地分等数据信息系统。
2.数据查询和检索
数据查询和检索模块是系统的主要功能模块。该系统提供了强大的地图浏览、图层控制、空间索引、查询统计、空间分析和报表输出等功能,为实现统筹数量、质量与生态并重管理,建设资源节约型社会提供了良好的手段;同时,也满足公众参与管理农用地分等数据的功能,加大土地科学普及工作,树立全社会关注农用地资源安全、耕地保护与国家粮食安全的意识;通过模糊查询、条件查询、空间查找等具体功能可以快速查询村、国家级基本农田、地类图斑等重要对象的空间位置和属性信息;能对县(市、区)各级数据进行实时动态的统计汇总,并可用专题图的形式对不同区域的农用地分等数据按不同的指标进行对比分析,可以输出各种图形和报表;可以根据不同的业务需要,设计不同的数据应用分析模型,例如征地分析模型、土地开发整理前后质量评价模型、土地利用变化模型等。通过系统,按这些模型进行处理,输出分析结果,从而有效地促进国土资源管理工作的信息化、科学化、专业化,提高办事效率,避免决策失误。
3.成果输出
依据农用地分等制图规范和土地利用管理需求,输出农用地分等图形和数据成果;还可以按行政区域及任意区域裁剪图件等。
4.系统维护
该系统是按照国家的有关规程和标准进行设计的,可根据土地管理实际情况做进一步的编码和更新,满足国土资源管理工作的实际需要。
❻ 地质-生态环境空间数据库建设指南
一、编写目的
建立山东半岛城市群地质-生态环境空间数据库,是“山东半岛城市群地区地质-生态环境综合调查评价及可持续发展研究”项目的设计要求,而山东半岛城市群地质-生态环境空间数据库建设,涉及地质、环境、水文、矿产等专业,并涉及单位较多,需要提交入库的数据也较多,为了指导和规范数据库项目的建设,特编写本指南,重点从建库的数据整理与格式转换阶段规范工作流程,明确最终提交成果,同时对元数据的填写做出了详细规定,本指南对山东半岛城市群空间数据库建设具有指导作用。
二、适用范围
本指南适用于山东半岛城市群地质-生态环境空间数据库建设工作。
三、编写依据及参考标准
1.国家及行业标准
GB/T2260—1999中华人民共和国行政区划代码
GB/T17798—1999地球空间数据交换格式
GB/T13923—92国土基础信息数据分类与代码
GB/T17766—1999固体矿产资源/储量分类
GB/T13989—92国家基本比例尺地形图分幅和编号
GB/T9649—88地质矿产术语分类代码
GB/T9649.16—1998地质矿产术语分类代码矿床学
DZ/T0197—1997数字化地质图图层及属性文件格式
2.部门标准
GX199900X-200X国土资源信息高层分类编码及数据文件命名规则国土资源部省级矿产资源规划编制指南国
国土资源部矿产资源储量数据库标准
中国地质调查局空间数据库工作指南2.0版
版山东半岛城市群地质-生态环境空间数据库建库标准(试行稿)
四、数据库框架设计
1.数据库需求分析
山东半岛城市群数据库是在“山东半岛城市群生态环境地质”项目研究成果的基础上研制、基于Arcinfo平台的空间数据库系统,其总体目标是存储和管理“山东半岛城市群生态环境地质”项目研究成果的资料、信息、地图及提供查询服务,为山东半岛城市群的空间布局管理、规划和决策以及重大项目建设和经济社会可持续发展提供依据。为达成这一总体目标,对数据库建设的需求应该包括以下方面:
1)对项目成果图件及其他数据存储管理的需求,需要构建一个符合要求的空间数据库。
2)提供对山东半岛城市群生态环境地质研究成果的管理、查询与展示。
3)提供山东半岛城市群生态、环境的现状与分级分布情况。
4)组织山东半岛城市群生态环境专题图件,直观地为决策咨询提出相应的对策和解决方案。
(1)功能需求
通过需求分析,得到软件的功能需求。除基本的数据输入、编辑和管理功能外,本系统还应具有以下4个方面的要求:
1)对现有地质-生态环境问题的展示、查询;
2)地质-生态环境质量现状的分析;
3)对地质-生态环境与可持续发展关系的分析评价;
4)保持经济增长和地质-生态环境相协调的对策与建议。
(2)性能需求
本数据库系统的性能需求为:
1)系统稳定性好;
2)可扩展性好;
3)操作简单;
4)可移植性好;
5)保密性。
根据“山东半岛城市群地区地质-生态环境综合调查评价及可持续发展研究”项目需求分析,数据库涉及的基础图件和数据、项目研究的成果数据如下:
1)基础地理、地质图件,采用1∶20万的地理底图和经过简化的地质底图。
2)各专题项目编汇的成果图件,包括:
山东半岛城市群地区地质图;
山东半岛城市群地区卫星遥感影像图;
山东半岛城市群地区区域稳定性综合评价图;
山东半岛城市群地区土地资源环境质量评价图;
山东半岛城市群地区矿产资源综合评价图;
山东半岛城市群地区地表水评价图;
山东半岛城市群地区地下水环境评价图;
山东半岛城市群地区海岸带地质灾害分布图;
山东半岛城市群地区生态环境综合评价图;
山东半岛城市群地区地质灾害易发区分布图;
山东半岛城市群地区地质生态与经济可持续发展对策图;
烟台地区地壳稳定性评价分区图;
烟台地区地质-生态环境分析与评价图;
烟台地区生态功能区划与生态市建设规划图;
青岛地区地壳稳定性评价分区图;
青岛地区海岸带地质环境质量评价图;
青岛地区地质-生态环境评价分区图。
3)属性数据;
4)文字报告;
5)专题图件数据。
2.数据库系统架构
根据以上对数据库需求的分析,结合目前项目的需要和经费情况,采用的系统架构见图12-1。
图12-1 数据库系统架构
本项目采用 ArcGIS Desktop 来搭建系统平台,用以实现定义好的空间数据和非空间数据的存储和管理。系统的核心采用地理数据库 GeoDataBase 体系结构。在后台通过 ArcCat-alog 应用模块来组织和管理所有的 GIS 信息,比如地图、数据集、模型、元数据、服务等; 通过 ArcToolBox 工具来完成数据转换、叠加处理、地理编码、统计分析和投影变换等数据处理。
客户端采用定制的 ArcMap,用以完成数据的显示、分析和编辑。另外可以通过 Arc-GIS 的扩展模块来实现对空间数据进行高效率的可视化和分析; 用 ArcGIS Spatial Analyst实现栅格数据的显示和处理。ArcGIS Desktop 系统平台表现示例见图 12 -2。
在系统数据库建成之后,如项目的后期需要进行数据的共享和发布,可采用 ArcSDE +ArcIMS 的搭配来实现 B / S 构架的数据共享。
图12-2 ArcGIS Desktop系统平台表现示例
3.数据库系统功能软件的系统功能分为基本系统数据管理功能和专业应用扩展功能两大部分。根据需求分析,确定各部分的功能。
1)基本功能部分:包括系统管理,数据输入、编辑、查询和输出,数据处理和图形符号库管理等。
2)扩展功能部分:包括现状展示、分析评价、可持续发展评价和决策支持等。系统的功能模块构成见图12-3。
图12-3 系统的功能模块构成
4.系统软件平台
在本项目的研究中,结合调查评价研究项目的工作实际,选取了美国ESRI公司的ArcGIS软件作为数据库开发的GIS软件平台,同时考虑到各专题研究单位的实际情况,选取MapGIS作为电子图件的绘制软件。在汇总各专题研究单位提交的MapGIS数字图件后,进行MapGIS格式数据向ArcGIS格式数据的转换,将研究成果加载到项目统一的地质-生态环境空间数据库中。本项目选择的ArcGIS软件平台包括ArcGISDesktop、ArcS-DE、ArcIMS等组件。
5.硬件平台选择
除按系统平台的选择原则外,硬件选择从以下方面考虑:
1)硬件的性能:能够满足系统软件平台的运行需求;
2)与其他硬件的兼容性:各种硬件设备可以协同工作;
3)与软件的兼容性:要兼容操作系统、数据库软件或其他应用软件。
可利用现有的计算机硬件,适当增设需要的硬件来构造系统的硬件环境。
6.系统实现步骤
(1)系统设计
1)总体结构设计:主要指系统中各子系统之间关系的设计。
2)系统各子系统或子功能模块的描述:各功能模块要划分到软件单元的层次,要求描述清晰,以满足编码、编译和测试的需要。
3)系统外部接口设计:完成系统外部接口、各软件单元之间的详细设计。
4)数据结构和数据库设计:主要指规划数据组织与表达方式的设计。
5)界面设计:主要指应用系统的操作界面设计。
6)软、硬件设计:主要指系统软硬件运行环境的设计。
7)系统单元测试的详细计划:包括测试集、测试用例和测试步骤。
(2)软件编程
完成程序代码的编写及数据库建库任务。
1)遵照软件设计说明书的要求,利用编程工具编制程序代码,并完成程序代码的测试工作。
2)按照半岛城市群项目数据库标准及数据库建库规范的要求,完成数据建库工作。
(3)系统集成与测试
完成系统集成及测试,生成可实际运行的系统,编写用户使用手册。
1)系统集成。
2)系统集成测试。集成测试的步骤为:
①制定系统各单元、模块、子系统的集成计划和集成测试计划,内容包括测试要求、步骤、数据和时间表等;②编写系统集成、测试文档;③按计划进行系统集成与集成测试,修改错误,再测试,直到符合设计要求;④编写测试报告。
3)编写用户使用手册。
五、数据入库工作流程
工作流程主要用于对规划数据库数据入库方法和过程进行指导。项目数据库的数据入库流程见图12-4。
图12-4 数据入库流程
1.资料收集
主要包括图件、表格和文字资料等项目所涉及的数据和成果。
2.资料预处理
数据预处理就是在全面收集资料的基础上,对资料进行系统的分析研究、综合整理及筛选等。
3.建库文档准备
主要是指对建库所需的文档进行准备,主要为数据整理记录表、属性填卡表准备,MapGIS编图的花纹符号库、线型库、颜色库设定等。
4.数据采集
数据的采集主要包括图件的输入、建立分层文件、属性的输入。
5.数据整理
数据整理的主要内容为:检查数据分层,重新命名分层文件,补充新增图层、调整部分地理、地质和规划专题属性结构,增加部分属性表格,以及整理附加文档等,完成上述工作后要填写元数据采集表并完成对元数据的录入,最后,对所有文件要进行标准化命名。
6.空间数据格式转换
按照项目建库的统一要求,各子项目在MapGIS平台下完成的成果图件,数据需要向ArcInfo格式进行转换。
六、数据质量监控
1.质量监控体系
项目承担单位和实施单位要建立完善的规划数据库建设质量监控体系,并制定相应的制度。
(1)自互检
建立完整的自互检表,每个作业人员的建库工作都要进行100%的自检,并将自检所发现的问题及时改正。在自检的基础上,由项目负责人安排其他作业人员进行60%以上的互检,并将互检结果和修改处理结果如实、完整地记录下来。
(2)抽检
每张图完成后,由项目负责抽取10%进行检查,并确保检查内容全部符合质量要求。
(3)阶段性检查
对建库的每个阶段性成果要进行严格检查把关,如图件扫描矢量化后的图元检查;属性录入后的图元、属性一致性检查等。
2.数据质量监控
(1)空间数据质量检查
空间数据质量检查主要是对成果图上的内容进行质量检查,要分别对MapGIS和ArcInfo格式的所有图层进行逐项检查,包括入库数据图层套合精度、拓扑、命名的标准化规范化、分层的正确性、数据的完整性、属性表结构的正确性、图元与属性的对应性、属性代码的准确性等。
(2)图面质量检查
图面检查是指对提交的成果数据图进行图面内容检查,发现错误应及时修改完善,直至准确无误。
(3)数据表数据质量检查
是指对非空间数据表和空间属性数据表检查数据的正确性,检查数据结构的一致性,并对照规划文本检查与规划实施相关内容的完整性和正确性。
(4)文档检查
资料文档检查主要是检查数据库所要求的文本、研究报告、编制说明、附表等资料文档是否齐全,内容是否正确,并检查元数据采集表及入库数据内容是否合乎要求。
3.数据质量监控指标
上述内容的检查总错误率小于2%,其中,图元(包括点、线、面、注释)错误率小于1%,属性(包括文字、代码、ID号对应、记录个数等)错误率小于2%,凡错误率大于该两值的,或发生图层缺失、附表缺失、文档缺失以及未提交正确的元数据采集表和入库数据的,一律不予通过。
七、提交数据要求
1.提交格式
成果图件:MapGIS格式,含工程、图层和系统库文件。
文档:包括编制说明、研究报告及其他文档资料(Word和Html两种格式)。表格:Access和Excel两种格式。
元数据采集表:Word格式。
2.提交形式
汇交数据存储介质为光盘。在提交成果之前,要进行全面查杀毒,确保数据安全。