论时空大数据及其应用

Ⅰ 时空观的特点在于哪

时空数据是同时具有时间和空间维度的数据，现实世界中的数据超过80%与地理位置有关。时空大数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点。随着科学技术的快速发展,人类对自身生活环境的探索已经不仅仅局限于周围的世界，探索空间的外沿急剧扩展，已经遍及地球各个角落、各个圈层,并延伸到外太空。因此，如何表述人类活动的客观世界和活动特征，已经成为了科研机构和人员研究的热点和重点。伴随着计算机技术的发展,如何利用计算机模拟和表征客观世界和人类活动，无疑也为学者提供了广阔的研究空间。

伴随着人们探索空间的过程,各种信息的获取范围也从局部地面、全球地表、地球各个圈层扩展到地球内外的整个空间，从原有二维平面空间基准逐步演变到三维空间基准，进而演变到反映地理空间对象时空分布的四维空间基准。时空数据是指具有时间元素并随时间变化而变化的空间数据，是描述地球环境中地物要素信息的一种表达方式。这些时空数据涉及到各式各样的数据，如地球环境地物要素的数量、形状、纹理、空间分布特征、内在联系及规律等的数字、文本、图形和图像等,不仅具有明显的空间分布特征，而且具有数据量庞大、非线性以及时变等特征。同时具有时间和空间维度的数据，现实世界中的数据超过80%与地理位置有关。时空大数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点。时空数据由于其所在空间的空间实体和空间现象在时间、空间和属性三个方面的固有特征，呈现出多维、语义、时空动态关联的复杂性，因此，需要研究时空大数据多维关联描述的形式化表达、关联关系动态建模与多尺度关联分析方法，时空大数据协同计算与重构提供快速、准确的面向任务的关联约束。

Ⅱ 时空大数据，希望和你来一场太空之旅

太阳系是一个以太阳为中心，受太阳引力约束在一起的天体系统，包括太阳、行星及其卫星、矮行星、小行星、彗星和行星际物质。在远古的时候，人类就注意到天上许多星星的相对位置是恒定不变的。但有5颗亮星却在众星之间不断地移动。因此“动”的星星称为“行星”，“不动”的星星称为“恒星“。古代中国人给行星各自起了名字，即：水星、金星、火星、木星和土星。

时空大数据结合沃达德大数据技术、地理信息系统软件新技术、云计算、物联网等先进技术，基于云环境的时空大数据平台体系，包含时空大数据中心、时空信息云服务中心和云应用集成管理中心三大部件。大数据是地理信息系统发展的重要驱动力，具有空间位置信息的空间大数据蕴含地理空间特征和空间模式，可以为GIS提供数据源；GIS可以为空间大数据的存储、管理、数据挖掘和可视化提供技术支撑。

沃达德地图大数据，通过大数据平台与地理信息系统相结合，能够更好反映地理要素的分布模式、趋势和相互关系，用于智慧城市、自然资源、公安、交通等领域，提供行业应用解决方案，提供决策支持，提升地理智慧。

Ⅲ 大数据可以应用在哪些方面

可以应用在云计算方面。

大数据具体的应用：

1、洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

2、google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。

3、统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。

4、麻省理工学院利用手机定位数据和交通数据建立城市规划。

5、梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。

6、医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，这使得很多医疗机构有资金来做大数据分析。

7、及时解析故障、问题和缺陷的根源，每年可能为企业节省数十亿美元。

8、为成千上万的快递车辆规划实时交通路线，躲避拥堵。

9、分析所有SKU，以利润最大化为目标来定价和清理库存。

10、根据客户的购买习惯，为其推送他可能感兴趣的优惠信息。

(3)论时空大数据及其应用扩展阅读：

大数据的用处：

1、与云计算的深度结合。大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。

自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

2、科学理论的突破。随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

参考资料：

网络--大数据

Ⅳ 如何让大数据落地转化时空大数据专家们精彩分享

“如何让新新大数据势力落地，将成果转化成项目，实现就地转化？”

在日前举行的“时空大数据2021年度大会”分论坛——时空大数据产业生态协同创新论坛上，河南大学人文与建筑时空大数据融合研究中心执行主任王振凯提出了这一疑问，现场的专家们围绕这一主题进行了深入探讨与交流。

全球人文与时空大数据
让建筑工程可视化

王振凯介绍，通过时空大数据平台，衍生出时空大数据集合系统。该系统集合了建筑信息、地球信息、交网信息、电网信息、水网信息、市政信息、人文信息等集合系统，最终得出全球人文、建筑与地理环境时空数据基础。

简单来说，工程可以通过时空大数据来具象化，大到建筑物本身，小到建筑物内一根钢管，都能清晰可见，甚至可以见到建筑物内钢管内部。精确的时空大数据让工程成本管控、进度管控都有迹可循。

TOD与城市时空大数据融合
建轨道就是建设城市

轨道交通带给人民快捷速度的同时，新的拥堵问题又出现了。地铁“建的起，养不起”的问题如何破局？如何让交通拥堵得到缓解，同时又能赋予交通线更多的经济价值？TOD模式由此营运而生。

“TOD模式是以公共交通为导向的开发模式（transit-oriented development，TOD）。”中铁上海设计院集团有限公司TOD中心主任郭琳解释，就是在规划居民区或者商业区时，使公共交通的使用最大化的一种非 汽车 化的规划设计方式。该模式可以同步城镇化进程，带动城市经济提升。

郭琳认为，建轨道就是建设城市，经营轨道就是经营城市。轨道交通建设中会出现技术、主体、利益、主体边界不明确，这就要破解融合。TOD模式通过大数据为未来城市提供了无限可能。未来是TOD5.0时代，通过可视化鼓励机制，为城市碳达峰做贡献。

一苇数智·时空大数据平台

时空大数据构建交通底座

众合 科技 对构建轨道交通的时空大数据底座进行了实践，一苇数智·时空大数据平台应运而生。构建数字孪生、挖掘数据价值、实现万物互联、赋能业务创新，是一苇数智平台四个显著的特点。现场，浙江众合 科技 股份有限公司研发中心总经理王厦通过示例进行了深入浅出的讲解。

数字孪生，即通过一张图可以看到地上空间和地下空间，两者结构关系一目了然。同时，数字空间里还能看到空间构架的物件、供应商信息等信息，无论产品质量监控还是施工进度都可以实时跟踪。

一苇数智平台以数据驱动业务，在四维数据的海洋中为业务挖掘更深层次的价值。王厦介绍，平台可以接入到终端设备，数据接口对外开放给合作伙伴和应用程序开发人员。

“我们愿意共享平台及其内部功能与数据，与用户、合作伙伴建立起价值的连接，所谓的万物互联，一切可联通。”王厦说。

利用智能引擎，平台可向每项业务提供AI能力和模型算法，同时为行业应用提供便捷易用的开发模板和工具。数据快速迭代为有效创新提供了支持。“早高峰的地铁内，你可以提前知道哪节车厢比较空，从容候车避免拥挤。”王厦用这一实例介绍了一苇数智平台在赋能业务创新上所能起到的作用。

大数据助力园区管理

天集产城集团有限公司产城项目总经理李书江分享了时空大数据在园区管理上的应用。他介绍，时空数据库分共有与私有，私有数据库体现了建筑数据、资产管理、现场施工进度、物料管理、智能化运维。智慧运维端深入园区日常需求，进行智慧园区的运营管理，全面了解园区企业基本经营情况，为企业在银行和金融机构贷款做增信（从抵押增信到数据增信）。

此外，通过可视化界面，时空大数据还可以帮助企业进行员工打卡、门禁管理、智能管控和设备管理。平台内还能导入政务服务和其他功能性服务，助力企业完成工商注册、财税服务、知识产权、社保服务、法律服务等各类事项。

高效协同的时空大数据生态链

“每天要从家的A点到工作地B点，有多条路可以走，早晨出发可以选择路上有早餐店和咖啡馆的路线，晚上下班可以换一条路线，看看哪里有聚餐点、哪里有商场。这些，大数据生态链都可以为你作出指引。”维正集团企知道产学研科研成果转化有限公司总经理李志慧从城市信息、物质和 社会 空间，三者连接共生数据互补出发，生动解释了时空大数据生态链。

她表示，时空大数据是具有时空属性的数据，搭建大数据集合平台，从而产生更广泛的应用场景，引入联盟成员，便能为大众生态搭建出一套高效协同、开放包容的运行规律。

科技 金融助力推动时空大数据

力合金融控股股份有限公司创新基金管理总经理申康认为， 科技 和金融的结合决定了产业未来的发展，是未来时空大数据发展的关键。

中小企业 科技 创新具有投入高、周期长、风险高特征，短期难以依靠自我造血实现滚动发展。中小企业融资难的根本原因在于其天然的弱质性，但传统金融机构很难为中小型新新大数据企业赋能。力合金融利用金融支持打通发展到创新的过程，打造时空大数据产业投资基金，通过差异化服务，满足时空大数据产业不同阶段企业的投资需求，做到差异化赋能。



来源| 科技 金融时报（记者 孙侠）

Ⅳ 大数据技术及应用

大数据技术及应用
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里？金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
二、什么是大数据
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。
（一）大数据的4V特征
大量化（Volume）：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
多样化（Variety）：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
快速化（Velocity）：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。
价值（Value）：大量的不相关信息，浪里淘沙却又弥足珍贵。对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能（咨询、报告等）
三、大数据时代对生活、工作的影响
大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。
“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。
四、大数据时代的发展方向、趋势
根据ESM国际电子商情针对2013年大数据应用现状和趋势的调查显示：被调查者最关注的大数据技术中，排在前五位的分别是大数据分析（12.91%）、云数据库（11.82%）、Hadoop（11.73%）、内存数据库（11.64%）以及数据安全（9.21%）。Hadoop已不再是人们心目中仅有的大数据技术，而大数据分析成为最被关注的技术。从中可以看出，人们对大数据的了解已经逐渐深入，关注的技术点也越来越多。既然大数据分析是最被关注的技术趋势，那么大数据分析中的哪项功能是最重要的呢？从下图可以看出，排在前三位的功能分别是实时分析（21.32%）、丰富的挖掘模型（17.97%）和可视化界面（15.91%）。2012年也曾做过类似的调查，当时选择丰富的挖掘模型（27.22%）比实时分析（19.88%）多7.34%。短短一年时间内，企业对实时分析的需求激增，成就了很多以实时分析为创新技术的大数据厂商。从调查结果可以看出：企业在未来一两年中有迫切部署大数据的需求，并且已经从一开始的基础设施建设，逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时，大数据还面临人才的缺乏的挑战，需要企业和高校联合起来，培养数据领域的复合型人才，帮助企业打赢这场“数据战”。
五、大数据的应用
（一）行业拓展者，打造大数据行业基石
IBM：IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）；业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）。 IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。
该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析。软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案。
微软：2011年1月与惠普（具体而言是HP数据库综合应用部门） 合作目标是开发了一系列能够提升生产力和提高决策速度的设备。
EMC：EMC 斩获了纽交所和Nasdaq；大数据解决方案已包括40多个产品。
Oracle：Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
（二）大数据促进了政府职能变革
重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析。一方面大数据的应用促进了政府职能变革，另一方面政府投入将形成示范效应，大大推动大数据的发展。
（三）打造“智慧城市”
美国奥巴马政府在白宫网站发布《大数据研究和发展倡议》，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式” ；中国工程院院士邬贺铨说道，“智慧城市是使用智能计算技术使得城市的关键基础设施的组成和服务更智能、互联和有效，随着智慧城市的建设，社会将步入“大数据”时代。”
（四）未来，改变一切
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。
数据的再利用：由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。
六、机遇和挑战
大数据赋予了我们洞察未来的能力，但同时诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的？
眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护

Ⅵ 大数据处理的五大关键技术及其应用

作者 | 网络大数据

来源 | 产业智能官

数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。其中主要工作环节包括：

大数据采集 大数据预处理 大数据存储及管理 大数据分析及挖掘 大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型，开发数据质量技术。

大数据采集一般分为：

大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。

基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

二、大数据预处理技术

完成对已接收数据的辨析、抽取、清洗等操作。

抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术：改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术：改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。

机器学习中，可细分为归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。

数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。

从挖掘任务和挖掘方法的角度，着重突破：

可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。 数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。 预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。 语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。 数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

预测分析成功的7个秘诀

预测未来一直是一个冒险的命题。幸运的是，预测分析技术的出现使得用户能够基于历史数据和分析技术(如统计建模和机器学习)预测未来的结果，这使得预测结果和趋势变得比过去几年更加可靠。

尽管如此，与任何新兴技术一样，想要充分发挥预测分析的潜力也是很难的。而可能使挑战变得更加复杂的是，由不完善的策略或预测分析工具的误用导致的不准确或误导性的结果可能在几周、几个月甚至几年内才会显现出来。

预测分析有可能彻底改变许多的行业和业务，包括零售、制造、供应链、网络管理、金融服务和医疗保健。AI网络技术公司Mist Systems的联合创始人、首席技术官Bob fridy预测:“深度学习和预测性AI分析技术将会改变我们社会的所有部分，就像十年来互联网和蜂窝技术所带来的转变一样。”。

这里有七个建议，旨在帮助您的组织充分利用其预测分析计划。

1.能够访问高质量、易于理解的数据

预测分析应用程序需要大量数据，并依赖于通过反馈循环提供的信息来不断改进。全球IT解决方案和服务提供商Infotech的首席数据和分析官Soumendra Mohanty评论道:“数据和预测分析之间是相互促进的关系。”

了解流入预测分析模型的数据类型非常重要。“一个人身上会有什么样的数据?” Eric Feigl - Ding问道，他是流行病学家、营养学家和健康经济学家，目前是哈佛陈氏公共卫生学院的访问科学家。“是每天都在Facebook和谷歌上收集的实时数据，还是难以访问的医疗记录所需的医疗数据?”为了做出准确的预测，模型需要被设计成能够处理它所吸收的特定类型的数据。

简单地将大量数据扔向计算资源的预测建模工作注定会失败。“由于存在大量数据，而其中大部分数据可能与特定问题无关，只是在给定样本中可能存在相关关系，”FactSet投资组合管理和交易解决方案副总裁兼研究主管Henri Waelbroeck解释道，FactSet是一家金融数据和软件公司。“如果不了解产生数据的过程，一个在有偏见的数据上训练的模型可能是完全错误的。”

2.找到合适的模式

SAP高级分析产品经理Richard Mooney指出，每个人都痴迷于算法，但是算法必须和输入到算法中的数据一样好。“如果找不到适合的模式，那么他们就毫无用处，”他写道。“大多数数据集都有其隐藏的模式。”

模式通常以两种方式隐藏:

模式位于两列之间的关系中。例如，可以通过即将进行的交易的截止日期信息与相关的电子邮件开盘价数据进行比较来发现一种模式。Mooney说:“如果交易即将结束，电子邮件的公开率应该会大幅提高，因为买方会有很多人需要阅读并审查合同。”

模式显示了变量随时间变化的关系。“以上面的例子为例，了解客户打开了200次电子邮件并不像知道他们在上周打开了175次那样有用，”Mooney说。

3 .专注于可管理的任务，这些任务可能会带来积极的投资回报

纽约理工学院的分析和商业智能主任Michael Urmeneta称:“如今，人们很想把机器学习算法应用到海量数据上，以期获得更深刻的见解。”他说，这种方法的问题在于，它就像试图一次治愈所有形式的癌症一样。Urmeneta解释说:“这会导致问题太大，数据太乱——没有足够的资金和足够的支持。这样是不可能获得成功的。”

而当任务相对集中时，成功的可能性就会大得多。Urmeneta指出:“如果有问题的话，我们很可能会接触到那些能够理解复杂关系的专家” 。“这样，我们就很可能会有更清晰或更好理解的数据来进行处理。”

4.使用正确的方法来完成工作

好消息是，几乎有无数的方法可以用来生成精确的预测分析。然而，这也是个坏消息。芝加哥大学NORC (前国家意见研究中心)的行为、经济分析和决策实践主任Angela Fontes说:“每天都有新的、热门的分析方法出现，使用新方法很容易让人兴奋”。“然而，根据我的经验，最成功的项目是那些真正深入思考分析结果并让其指导他们选择方法的项目——即使最合适的方法并不是最性感、最新的方法。”

罗切斯特理工学院计算机工程系主任、副教授shanchie Jay Yang建议说:“用户必须谨慎选择适合他们需求的方法”。“必须拥有一种高效且可解释的技术，一种可以利用序列数据、时间数据的统计特性，然后将其外推到最有可能的未来，”Yang说。

5.用精确定义的目标构建模型

这似乎是显而易见的，但许多预测分析项目开始时的目标是构建一个宏伟的模型，却没有一个明确的最终使用计划。“有很多很棒的模型从来没有被人使用过，因为没有人知道如何使用这些模型来实现或提供价值，”汽车、保险和碰撞修复行业的SaaS提供商CCC信息服务公司的产品管理高级副总裁Jason Verlen评论道。

对此，Fontes也表示同意。“使用正确的工具肯定会确保我们从分析中得到想要的结果……”因为这迫使我们必须对自己的目标非常清楚，”她解释道。“如果我们不清楚分析的目标，就永远也不可能真正得到我们想要的东西。”

6.在IT和相关业务部门之间建立密切的合作关系

在业务和技术组织之间建立牢固的合作伙伴关系是至关重要的。客户体验技术提供商Genesys的人工智能产品管理副总裁Paul lasserr说:“你应该能够理解新技术如何应对业务挑战或改善现有的业务环境。”然后，一旦设置了目标，就可以在一个限定范围的应用程序中测试模型，以确定解决方案是否真正提供了所需的价值。

7.不要被设计不良的模型误导

模型是由人设计的，所以它们经常包含着潜在的缺陷。错误的模型或使用不正确或不当的数据构建的模型很容易产生误导，在极端情况下，甚至会产生完全错误的预测。

没有实现适当随机化的选择偏差会混淆预测。例如，在一项假设的减肥研究中，可能有50%的参与者选择退出后续的体重测量。然而，那些中途退出的人与留下来的人有着不同的体重轨迹。这使得分析变得复杂，因为在这样的研究中，那些坚持参加这个项目的人通常是那些真正减肥的人。另一方面，戒烟者通常是那些很少或根本没有减肥经历的人。因此，虽然减肥在整个世界都是具有因果性和可预测性的，但在一个有50%退出率的有限数据库中，实际的减肥结果可能会被隐藏起来。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据将重点应用于以下三大领域：商业智能 、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

Ⅶ 大数据技术的应用

大数据的应用是以大数据技术为基础，对各行各业或生产生活方面提供决策参考。

大数据应用的典型有：电商领悟、传媒领领域、金融领域、交通领域、电信领域、安防领域、医疗领域等。

同时大数据的应用是把双刃剑，一方面可以为我们带来便利，另一方面也会造成个人隐私泄露的问题。

Ⅷ 院士专家谈 - 时空大数据：地理信息产业融合发展必由之路

作 者 ：中国工程院院士 王家耀

地理信息产业是以现代测绘和地理信息系统、遥感、卫星导航定位等技术为基础，以地理信息资源开发利用为核心，从事地理信息获取、处理、应用的高技术服务业。自20世纪60年代地理信息系统提出以来，其应用逐渐拓展到多个行业，从产生、成长到壮大，地理信息产业发展取得了可喜成绩。

当前，我国的经济和 社会 发展已经进入新的 历史 阶段， 社会 主要矛盾已经转化为人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾；以5G、云计算、大数据、边缘计算、物联网等为代表的新技术快速发展，人工智能技术也因深层神经网络的成功而获得了巨大进步；随着我国行政体制改革和自然资源管理体系的建立，地理信息产业已融入自然资源管理体系中。面对新的 社会 需求、新的技术进步和新的管理体系要求，亟待根据国家大政方针、 社会 生产需要、技术发展趋势、产业发展规律，做好地理信息产业的工程技术、商业模式、产品类型的转型升级与融合创新，进一步提高地理信息产业发展的质量和水平。

地理信息产业融合发展的驱动力——人工智能

信息化的发展遵循从数字化到网络化再到智能化的规律，地理信息产业的发展亦如此，智能化是地理信息产业融合发展的高级阶段。

“互联网 ”改变了地理信息产业发展的思维方式。“互联网 ”的本质是跨界融合。“基础地理信息 ”和“通用时空大数据平台 ”的本质也是跨界融合。“ ”是核心，提出跨界融合的解决方案是关键。只有这样，才能更充分地发挥基础地理信息和通用时空大数据平台的“基础”和“通用”作用，实现地理信息产业到时空大数据产业的转型升级。

云计算具有的信息资源管理、处理和应用的“全面弹性”，可以支撑“地理信息产业”到“时空大数据产业”的转型。时空大数据产业化需要超强计算能力的支持。云计算作为一种新的计算模式，通过“池化”和“云化”把数千台甚至上万台机器都放在一个“池子”里面，这是“资源弹性”；并在“资源弹性”即基础设施即服务（IaaS）之上增加了一层“应用弹性”，包括平台即服务（PaaS）和软件即服务（SaaS），以满足时空大数据的“应用弹性”需求。云计算支撑时空大数据处理的分布式、协作（同）化和智能化；通过任务分解，解决分布式问题；通过工作流重构，解决并行问题；通过算法调度，解决协作（同）化问题。

时空大数据产业

——属于第四产业的范畴

时空大数据，指基于统一时空基准活动或存在于时间和空间与位置直接或间接相关联的大数据。据此，时空大数据由时空框架数据和时空变化数据两大类数据组成。

时空框架数据指基于统一时空基准的卫星导航定位数据（含连续运行参考站 CORS数据）、遥感影像数据、地图数据、地名数据等。时空变化数据包括 社会 经济人文数据、位置轨迹数据、与位置相关联的空间媒体数据、社交网络数据、搜索引擎数据、视频观测数据、生态环境监测数据等。时空变化数据聚合（关联）在时空框架数据上，就构成了时空大数据。时空大数据具有位置、属性、时间、尺度、分辨率、多样性、异构性、多维性、价值隐含性、快速性等特性。时空大数据产业，指以天空地海传感器网络为基础，以时空信息“获取（传感网） 处理（生产） 应用（服务）”为产业链，以人工智能等新兴信息技术为支撑，以数据密集型计算为特征的知识密集型信息产业，属于从第三产业中分离出来的第四产业的范畴。同地理信息产业相比较，时空大数据产业内涵要宽泛得多，规模要大得多，类型更具多维性和多样性，知识更密集，速度更快，产品更加多样化和个性化，其应用领域更加广阔，具有良好的产业发展前景。

时空大数据产业化的核心

——时空大数据平台

时空大数据平台是时空大数据产业化的核心。

它是指把各种分散的和分割的大数据即时空框架数据和时空变化数据汇聚到一个特定的平台上，并使之发生持续的聚合效应。这种聚合效应就是通过数据多维融合和关联分析与数据挖掘，揭示事物的本质规律，对事物做出更加快捷、更加全面、更加精准和更加有效的研判和预测。从这个意义上讲，时空大数据平台是大数据的核心价值，是大数据发展的高级形态，是大数据时代的解决方案。从产业化的角度讲，通用时空大数据平台是指将时空框架数据汇聚在一个特定平台上，利用这个平台生产军民两用的基础测绘地理信息产品。

所谓“通用时空大数据平台+”模式，即以通用时空大数据平台作为框架，聚合民用、军用的时空变化数据，分别构成时空大数据平台。“通用时空大数据平台+民用”模式，即将地方政府各部门各行业的政务、自然资源、规划、交通、水利、管网、人口、经济、人文、 社会 、医疗、教育、电力、公安等数据汇聚在通用时空大数据平台上，使之成为新型智慧城市的“智脑”，通过持续的聚合效应，生成各类（种）民用深加工知识产品，为政府综合决策、各部门各行业和 社会 公众提供智能化服务。

时空大数据产业化是通过时空大数据平台产业化实现的。因为时空大数据产业化是一个新问题，应该走一条从基础研究起步的产业化创新之路。这条创新之路首先要研究和建立以数据科学为核心的时空大数据理论体系。目前，“数据科学”的边界还不清晰，时空大数据理论研究薄弱，更未形成时空大数据的理论体系，而这是时空大数据产业化的基础。因此，这条创新之路要研究和建立以“数据隐含价值 计算发现价值 应用实现价值”为核心，以“数据获取（传感器网） 处理（生产） 应用（服务）”为产业链的时空大数据产业化技术体系。走在这条创新之路上的人，更要研究和设计包括软件产品、硬件产品、软硬件集成产品、各类（种）应用平台产品和数字产品在内的时空大数据产品体系。

总之，在当前全球数字经济快速发展的大背景下，数字化的知识和信息作为关键生产要素，以数字技术为核心驱动力量，以现代信息网络为重要载体，通过数字技术与实体经济深度融合，数字经济能够不断提高经济 社会 的数字化、网络化、智能化水平，以加速重构经济发展与 社会 治理模式。地理信息产业作为处理位置数据的核心产业，可以积极推动其基于“通用时空大数据平台+”模式深度融入数字产业化、产业数字化、数字化治理与数据价值化领域，积极融入自然资源管理工作整体布局，主动引领以地理信息为基础的新型智慧城市、实景三维中国、新型基础测绘建设，推进地理信息产业向全产业链发展，扩大地理信息产品供给面，加大地理信息消费级产品研发，鼓励新应用、培育新市场，让地理信息产品通过生态建设、智慧管理、数字经济服务国家战略建设并惠及全 社会 ，从而促使地理信息产业向时空大数据产业的融合发展与转型升级。

Ⅸ 什么是大数据，大数据为什么重要，如何应用大数据

“大数据”简单理解为：

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据是一个抽象的概念，对当前无论是企业还是政府、高校等单位面临的数据无法存储、无法计算的状态。大数据，在于海量，单机无法快速处理，需要通过垂直扩展，即大内存高效能，水平扩展，即大磁盘大集群等来进行处理。

大数据为什么重要：

获取大数据后，用这些数据做：数据采集、数据存储、数据清洗、数据分析、数据可视化

大数据技术对这些含有意义的数据进行专业化处理，对企业而言，大数据可提高工作效率，降低企业成本，精准营销带来更多客户。对政府而言，可以利用大数进行统筹分析、提高管理效率、管理抓获犯罪分子等。对个人而言，可以利用大数据更了解自己等。

如何应用大数据：

大数据的应用对象可以简单的分为给人类提供辅助服务，以及为智能体提供决策服务。

大数据不仅包括企业内部应用系统的数据分析，还包括与行业、产业的深度融合。具体场景包括：互联网行业、政府行业、金融行业、传统企业中的地产、医疗、能源、制造、电信行业等等。通俗地讲“大数据就像互联网+，可以应用在各行各业"，如电信、金融、教育、医疗、军事、电子商务甚至政府决策等。

Ⅹ 什么是时空大数据

时空大数据

spatio-temporal big data

时空大数据定义：基于统一时空基准（时间参照系和空间参照系）、活动（运动变化）在时间和空间中与位置直接（定位）或间接（空间分布）相关联的大规模海量数据集。

相关名词：大数据 科学大数据 场景大数据 遥感大数据 地质大数据 交通大数据

【时空大数据相关】

时空大数据除具有一般大数据的5V特征外，还具有位置特征、时间特征、属性特征、尺度（分辨率）特征、多源异构特征、多维动态可视化特征。时空大数据的这些特征，有助于时空大数据的分析与挖掘，揭示大数据的时间变化趋势和空间分布规律。任何规律的得出，任何决策的作出，都必须依据一定时间、确定地点（地区）的大数据，即时空大数据，同时也给时空大数据的组织、存储、管理和提取增加了难度。

时空大数据由时空框架数据和时空变化数据构成。时空框架数据一般相对变化较慢，包括时空基准数据、全球卫星导航定位（GNSS）与连续运行参考站（CORS）数据、空间大地测量与物理大地测量数据、遥感影像数据、数字地图与地名数据、海洋测绘数据、世界海峡与通道数据等；时空变化数据一般变化快，包括社交网络数据、搜索引擎数据、视频观测数据、网络空间数据、位置轨迹数据、变化检测数据、与位置相关的空间媒体数据、空间环境数据、海洋水文数据、社会经济人文数据、部门行业数据等。时空大数据的核心，是将时空变化数据融合或关联到时空框架数据上。

时空大数据的提出，反映了人们对大数据本质及其研究内容认识的丰富和深化，揭示了大数据的时空特性，明确了数据文化是尊重事实、强调精准、推崇理性和逻辑的科学文化，这是我国时空大数据发展的灵魂。时空大数据的研究，对我国大数据理论体系、技术体系、产品体系和应用服务模式的形成和创新发展具有重要的实践意义，有助于形成数据驱动的大数据创新体系和发展模式，推动构建以数据为关键要素的数字经济并形成现代经济体系，运用大数据提升国家治理的现代化水平与促进保障和改善民生。（时空大数据相关：中国工程院院士、河南大学教授王家耀）