地理空间大数据处理的关键技术

『壹』 大数据处理的关键技术都有哪些

大数据关键技术涵盖数据存储、处理、应用等多方面的技术，根据大数据的处理过程，可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据处理、大数据分析及挖掘、大数据展示等。

1、大数据采集技术

大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

因为数据源多种多样，数据量大，产生速度快，所以大数据采集技术也面临着许多技术挑战，必须保证数据采集的可靠性和高效性，还要避免重复数据。

2、大数据预处理技术

大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。

因获取的数据可能具有多种结构和类型，数据抽取的主要目的是将这些复杂的数据转化为单一的或者便于处理的结构，以达到快速分析处理的目的。

3、大数据存储及管理技术

大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

4、大数据处理

大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。

『贰』 大数据处理的关键技术有哪些

大数据开发涉及到的关键技术：

大数据采集技术

大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

大数据预处理技术

大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。

大数据存储及管理技术

大数据存储及管理的主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。

大数据处理技术

大数据的应用类型很多，主要的处理模式可以分为流处理模式和批处理模式两种。批处理是先存储后处理，而流处理则是直接处理。

大数据分析及挖掘技术

大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。

大数据展示技术

在大数据时代下，数据井喷似地增长，分析人员将这些庞大的数据汇总并进行分析，而分析出的成果如果是密密麻麻的文字，那么就没有几个人能理解，所以我们就需要将数据可视化。

数据可视化技术主要指的是技术上较为高级的技术方法，这些技术方法通过表达、建模，以及对立体、表面、属性、动画的显示，对数据加以可视化解释。

『叁』 地理信息系统研究热点，包括哪些关键理论，技术

1 空间数据库的准确性研究
地理信息数据中误差处理和不确定性错误处理的方法和技术 ,包括 :
不确定性误差模型 ;
误差跟踪并对误差进行编码的方法 ;
计算和表达在 GIS应用中的误差 ;
数据精度的评估 ;
数据质量、元数据、数据标准等问题研究。

2 空间关系语言研究
以地理空间概念的规范化形式为基础 ,利用自然语言和数学方法 , 形成空间关系表达的理论 ;
关于定位表达的计算模型 ;
空间概念的获取和表达 ;
拓扑关系的定义 ;
空间信息的可视化 ;
GIS的用户接口。

3 空间数据的多种表达方式研究
为高效数据提取而组织的不同版本的数据及相应的拓扑关系 ,以及空间数据的多种表达方式 ;
满足数据一致性和精度要求的地图制图规则 ;
数据模型、链接、多机构、多尺度等对数据的需求。

4 地理信息的使用和价值研究
对 GIS获取、实现和使用起关键作用的因素和过程的理解 ;
GIS传播模型建立方法 ;
确定 GIS的经济价值。

5 海量空间数据库的结构体系研究
海量数据库中数据模型、结构、算法、用户接口等问题的实现方法 ;
空间代数学 ;
基于逻辑的计算机查询语言 ;
元数据的具体内容和组织 ;
数据压缩和加密方法。

6 空间决策支持系统
GIS及其相关学科在决策形成中的作用 ;
区域灾害问题解决的空间决策支持方法 ;
空间决策支持系统的模型和数据 ;
空间决策支持系统技术和实现 ;
用户需求和组织等问题研究。

7 空间信息的可视化研究
数据质量的管理和可视化表达构成研究 ;
误差模型和数据质量指标 ;
数据库中数据的质量管理 ;
使内在表达和地图显示更容易的可视化工具 ;
对数据质量信息的用户需求评估。

8 地图制图的规范化研究
研究相应的方法和准则 ,以提高空间数据的一致性 , 以及空间数据在表达方式和空间分析方面的效率和准确性 ;
地图制图语言规范化研究 ;
规范化设计评估体系 ;
将知识推理嵌入数据模型。

9 地理信息数据共享的研究
由地理信息和技术共享到空间数据共享 ;
空间数据共享的理论研究 ;
空间数据共享的场所 ;
空间数据共享的处理方法。

10 GIS中时空关系的研究
地理空间中空间、时间以及和变化相关联的对象研究 ;
不同时间概念的划分 ,如 :离散的、连续的、单调的等 ;
具体应用中 ,笛卡儿坐标和欧几里得坐标的选择 ;
将人类对时间和空间的认知过程具体化、形式化 ;
空间现象的模拟计算模式。

11 遥感和 GIS的集成研究
解决遥感和 GIS集成方面的关键问题 ,主要包括 :
数据结构和存取问题 ;
数据处理流程 ;
误差分析 ;
机构问题。

12 GIS的用户接口研究
人机交互的用户接口设计和实现 ;
在 GIS环境中 ,人和计算机相互作用的研究 ;
不同背景、语言、文化对人机交互的影响
GIS软件用户接口设计的准则和方法。

13 GIS和空间分析研究
空间统计学地理数据的空间统计分析 ;
地理边界和地图比例尺在空间数据体系中的作用 ;
空间数据的采样和内插 ;
GIS数据结构和空间统计计算之间的关系。

14 GIS在全球变化中的作用研究
全面、定量地理解 GIS应用对全球变化所起的作用 ;
从小尺度的研究出发 ,建立理论基础和计算结构 ;
全球数据质量的评估。

15 法律、信息政策和空间数据库关系研究
GIS数据适用范围 ;
科学地理解空间数据库环境中的法律和政策 ;
如何完善 GIS方面法律的内容和质量 ;
空间数据库在公众政策和法律建设方面的作用
GIS在公众政策和法律方面的有用性尝试。

16 通过协作形成空间决策系统的研究
提供开发和评估工具 ,以解决复杂空间问题 ;
建立知识获取方法 ;
建立评估方案 ;
确定协作方的相互联系方式 ;
在相互作用的环境中解决冲突的方法。

17 在社会背景中 ,如何在 GIS中表达人、空间与环境的研究
人口的管理和控制 ;
确定冲突影响的人口范围 ;
政治经济关心的自然资源的开采和使用。

18 地理信息系统的互操作研究
开放的、分布式存储的 GIS结构 ;
地理数据语义特性获取方法 ;
数据抽象和处理模型研究 ;
地理空间数据的粒度 (Granularity)。

19 地理世界的规范化模式研究
地理世界的规范化表达 ;
用空间数据结构表达现实世界时 ,基本的描述元素 ;
GIS用户对地理世界的直觉看法。

『肆』 大数据的关键技术

大数据的关键技术:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用,其中包括大数据检索、大数据可视化、大数据应用、大数据安全等。

技术是解决问题的方法及方法原理，是指人们利用现有事物形成新事物，或是改变现有事物功能、性能的方法。技术应具备明确的使用范围和被其它人认知的形式和载体，

如原材料（输入）、产成品（输出）、工艺、工具、设备、设施、标准、规范、指标、计量方法等。技术与科学相比，技术更强调实用，而科学更强调研究；技术与艺术相比，技术更强调功能，艺术更强调表达。

引证解释

技艺；法术。《史记·货殖列传》：“医方诸食技术之人，焦神极能，为重糈也。”宋陆游《老学庵笔记》卷三：“忽有一道人，绝隐迟亦美风表，多技术…… 张若水 介之来谒。”

清侯方域《再与贾三兄书》：“盖足下之性好新异，喜技术，作之不必果成，成之不携困必果用，然凡可以尝试为之者，莫不为之。”Technology;Art;Skill;Technique在劳动生产方面的经验、知识和技巧,也泛指其他操作方面的技巧。

知识技能和操作技巧。周而复《上海的早晨并李》第一部七：“张学海是沪江纱厂保全部的青年工人，思想进步，对机器特别有兴趣，有空就钻研技术。”

李准《李双双小传》六：“两个人见面， 双双 总要说他们猪场的新鲜事。比如一个猪下了十个猪娃呀，人工授精的新技术呀。”

『伍』 大数据的关键技术有哪些_大数据处理的关键技术有哪些

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分早李烂析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方扰帆式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。

二、大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数据陆漏并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

四、大数据分析及挖掘技术

大数据分析技术。改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统）本回答根据网络文库资料整理，原文请参见《大数据关键技术》