論時空大數據及其應用

Ⅰ 時空觀的特點在於哪

時空數據是同時具有時間和空間維度的數據，現實世界中的數據超過80%與地理位置有關。時空大數據包括時間、空間、專題屬性三維信息，具有多源、海量、更新快速的綜合特點。隨著科學技術的快速發展,人類對自身生活環境的探索已經不僅僅局限於周圍的世界，探索空間的外沿急劇擴展，已經遍及地球各個角落、各個圈層,並延伸到外太空。因此，如何表述人類活動的客觀世界和活動特徵，已經成為了科研機構和人員研究的熱點和重點。伴隨著計算機技術的發展,如何利用計算機模擬和表徵客觀世界和人類活動，無疑也為學者提供了廣闊的研究空間。

伴隨著人們探索空間的過程,各種信息的獲取范圍也從局部地面、全球地表、地球各個圈層擴展到地球內外的整個空間，從原有二維平面空間基準逐步演變到三維空間基準，進而演變到反映地理空間對象時空分布的四維空間基準。時空數據是指具有時間元素並隨時間變化而變化的空間數據，是描述地球環境中地物要素信息的一種表達方式。這些時空數據涉及到各式各樣的數據，如地球環境地物要素的數量、形狀、紋理、空間分布特徵、內在聯系及規律等的數字、文本、圖形和圖像等,不僅具有明顯的空間分布特徵，而且具有數據量龐大、非線性以及時變等特徵。同時具有時間和空間維度的數據，現實世界中的數據超過80%與地理位置有關。時空大數據包括時間、空間、專題屬性三維信息，具有多源、海量、更新快速的綜合特點。時空數據由於其所在空間的空間實體和空間現象在時間、空間和屬性三個方面的固有特徵，呈現出多維、語義、時空動態關聯的復雜性，因此，需要研究時空大數據多維關聯描述的形式化表達、關聯關系動態建模與多尺度關聯分析方法，時空大數據協同計算與重構提供快速、准確的面向任務的關聯約束。

Ⅱ 時空大數據，希望和你來一場太空之旅

太陽系是一個以太陽為中心，受太陽引力約束在一起的天體系統，包括太陽、行星及其衛星、矮行星、小行星、彗星和行星際物質。在遠古的時候，人類就注意到天上許多星星的相對位置是恆定不變的。但有5顆亮星卻在眾星之間不斷地移動。因此「動」的星星稱為「行星」，「不動」的星星稱為「恆星「。古代中國人給行星各自起了名字，即：水星、金星、火星、木星和土星。

時空大數據結合沃達德大數據技術、地理信息系統軟體新技術、雲計算、物聯網等先進技術，基於雲環境的時空大數據平台體系，包含時空大數據中心、時空信息雲服務中心和雲應用集成管理中心三大部件。大數據是地理信息系統發展的重要驅動力，具有空間位置信息的空間大數據蘊含地理空間特徵和空間模式，可以為GIS提供數據源；GIS可以為空間大數據的存儲、管理、數據挖掘和可視化提供技術支撐。

沃達德地圖大數據，通過大數據平台與地理信息系統相結合，能夠更好反映地理要素的分布模式、趨勢和相互關系，用於智慧城市、自然資源、公安、交通等領域，提供行業應用解決方案，提供決策支持，提升地理智慧。

Ⅲ 大數據可以應用在哪些方面

可以應用在雲計算方面。

大數據具體的應用：

1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。

2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。

3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。

5、梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

6、醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

7、及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。

8、為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。

9、分析所有SKU，以利潤最大化為目標來定價和清理庫存。

10、根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。

(3)論時空大數據及其應用擴展閱讀：

大數據的用處：

1、與雲計算的深度結合。大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平台之一。

自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

2、科學理論的突破。隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。

參考資料：

網路--大數據

Ⅳ 如何讓大數據落地轉化時空大數據專家們精彩分享

「如何讓新新大數據勢力落地，將成果轉化成項目，實現就地轉化？」

在日前舉行的「時空大數據2021年度大會」分論壇——時空大數據產業生態協同創新論壇上，河南大學人文與建築時空大數據融合研究中心執行主任王振凱提出了這一疑問，現場的專家們圍繞這一主題進行了深入探討與交流。

全球人文與時空大數據
讓建築工程可視化

王振凱介紹，通過時空大數據平台，衍生出時空大數據集合系統。該系統集合了建築信息、地球信息、交網信息、電網信息、水網信息、市政信息、人文信息等集合系統，最終得出全球人文、建築與地理環境時空數據基礎。

簡單來說，工程可以通過時空大數據來具象化，大到建築物本身，小到建築物內一根鋼管，都能清晰可見，甚至可以見到建築物內鋼管內部。精確的時空大數據讓工程成本管控、進度管控都有跡可循。

TOD與城市時空大數據融合
建軌道就是建設城市

軌道交通帶給人民快捷速度的同時，新的擁堵問題又出現了。地鐵「建的起，養不起」的問題如何破局？如何讓交通擁堵得到緩解，同時又能賦予交通線更多的經濟價值？TOD模式由此營運而生。

「TOD模式是以公共交通為導向的開發模式（transit-oriented development，TOD）。」中鐵上海設計院集團有限公司TOD中心主任郭琳解釋，就是在規劃居民區或者商業區時，使公共交通的使用最大化的一種非 汽車 化的規劃設計方式。該模式可以同步城鎮化進程，帶動城市經濟提升。

郭琳認為，建軌道就是建設城市，經營軌道就是經營城市。軌道交通建設中會出現技術、主體、利益、主體邊界不明確，這就要破解融合。TOD模式通過大數據為未來城市提供了無限可能。未來是TOD5.0時代，通過可視化鼓勵機制，為城市碳達峰做貢獻。

一葦數智·時空大數據平台

時空大數據構建交通底座

眾合 科技 對構建軌道交通的時空大數據底座進行了實踐，一葦數智·時空大數據平台應運而生。構建數字孿生、挖掘數據價值、實現萬物互聯、賦能業務創新，是一葦數智平台四個顯著的特點。現場，浙江眾合 科技 股份有限公司研發中心總經理王廈通過示例進行了深入淺出的講解。

數字孿生，即通過一張圖可以看到地上空間和地下空間，兩者結構關系一目瞭然。同時，數字空間里還能看到空間構架的物件、供應商信息等信息，無論產品質量監控還是施工進度都可以實時跟蹤。

一葦數智平台以數據驅動業務，在四維數據的海洋中為業務挖掘更深層次的價值。王廈介紹，平台可以接入到終端設備，數據介面對外開放給合作夥伴和應用程序開發人員。

「我們願意共享平台及其內部功能與數據，與用戶、合作夥伴建立起價值的連接，所謂的萬物互聯，一切可聯通。」王廈說。

利用智能引擎，平台可向每項業務提供AI能力和模型演算法，同時為行業應用提供便捷易用的開發模板和工具。數據快速迭代為有效創新提供了支持。「早高峰的地鐵內，你可以提前知道哪節車廂比較空，從容候車避免擁擠。」王廈用這一實例介紹了一葦數智平台在賦能業務創新上所能起到的作用。

大數據助力園區管理

天集產城集團有限公司產城項目總經理李書江分享了時空大數據在園區管理上的應用。他介紹，時空資料庫分共有與私有，私有資料庫體現了建築數據、資產管理、現場施工進度、物料管理、智能化運維。智慧運維端深入園區日常需求，進行智慧園區的運營管理，全面了解園區企業基本經營情況，為企業在銀行和金融機構貸款做增信（從抵押增信到數據增信）。

此外，通過可視化界面，時空大數據還可以幫助企業進行員工打卡、門禁管理、智能管控和設備管理。平台內還能導入政務服務和其他功能性服務，助力企業完成工商注冊、財稅服務、知識產權、社保服務、法律服務等各類事項。

高效協同的時空大數據生態鏈

「每天要從家的A點到工作地B點，有多條路可以走，早晨出發可以選擇路上有早餐店和咖啡館的路線，晚上下班可以換一條路線，看看哪裡有聚餐點、哪裡有商場。這些，大數據生態鏈都可以為你作出指引。」維正集團企知道產學研科研成果轉化有限公司總經理李志慧從城市信息、物質和 社會 空間，三者連接共生數據互補出發，生動解釋了時空大數據生態鏈。

她表示，時空大數據是具有時空屬性的數據，搭建大數據集合平台，從而產生更廣泛的應用場景，引入聯盟成員，便能為大眾生態搭建出一套高效協同、開放包容的運行規律。

科技 金融助力推動時空大數據

力合金融控股股份有限公司創新基金管理總經理申康認為， 科技 和金融的結合決定了產業未來的發展，是未來時空大數據發展的關鍵。

中小企業 科技 創新具有投入高、周期長、風險高特徵，短期難以依靠自我造血實現滾動發展。中小企業融資難的根本原因在於其天然的弱質性，但傳統金融機構很難為中小型新新大數據企業賦能。力合金融利用金融支持打通發展到創新的過程，打造時空大數據產業投資基金，通過差異化服務，滿足時空大數據產業不同階段企業的投資需求，做到差異化賦能。



來源| 科技 金融時報（記者 孫俠）

Ⅳ 大數據技術及應用

大數據技術及應用
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據。2011年5 月，在「雲計算相遇大數據」 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里？金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」
二、什麼是大數據
大數據（Big Data）是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息，定製出高度個性化的用戶體驗，並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
（一）大數據的4V特徵
大量化（Volume）：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模範圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外，各種意想不到的來源都能產生數據。
多樣化（Variety）：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由於新型多結構數據，以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中，部分感測器安裝在火車、汽車和飛機上，每個感測器都增加了數據的多樣性。
快速化（Velocity）：高速描述的是數據被創建和移動的速度。在高速網路時代，通過基於實現軟體性能優化的高速電腦處理器和伺服器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析並返回給用戶，以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。
價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智慧Vs傳統商務智能（咨詢、報告等）
三、大數據時代對生活、工作的影響
大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。
「大數據」的影響，增加了對信息管理專家的需求。事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示：被調查者最關注的大數據技術中，排在前五位的分別是大數據分析（12.91%）、雲資料庫（11.82%）、Hadoop（11.73%）、內存資料庫（11.64%）以及數據安全（9.21%）。Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢，那麼大數據分析中的哪項功能是最重要的呢？從下圖可以看出，排在前三位的功能分別是實時分析（21.32%）、豐富的挖掘模型（17.97%）和可視化界面（15.91%）。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型（27.22%）比實時分析（19.88%）多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出：企業在未來一兩年中有迫切部署大數據的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場「數據戰」。
五、大數據的應用
（一）行業拓展者，打造大數據行業基石
IBM：IBM大數據提供的服務包括數據分析，文本分析，藍色雲杉（混搭供電合作的網路平台）；業務事件處理；IBM Mashup Center的計量，監測，和商業化服務（MMMS）。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights，基於Apache Hadoop。
該產品組合包括：打包的Apache Hadoop的軟體和服務，代號是bigInsights核心，用於開始大數據分析。軟體被稱為bigsheet，軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融，風險管理，媒體和娛樂等行業量身定做的行業解決方案。
微軟：2011年1月與惠普（具體而言是HP資料庫綜合應用部門） 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC：EMC 斬獲了紐交所和Nasdaq；大數據解決方案已包括40多個產品。
Oracle：Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
（二）大數據促進了政府職能變革
重視應用大數據技術，盤活各地雲計算中心資產：把原來大規模投資產業園、物聯網產業園從政績工程，改造成智慧工程；在安防領域，應用大數據技術，提高應急處置能力和安全防範能力；在民生領域，應用大數據技術，提升服務能力和運作效率，以及個性化的服務，比如醫療、衛生、教育等部門；解決在金融，電信領域等中數據分析的問題：一直得到得極大的重視，但受困於存儲能力和計算能力的限制，只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革，另一方面政府投入將形成示範效應，大大推動大數據的發展。
（三）打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》，提出「通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，強化美國國土安全，轉變教育和學習模式」 ；中國工程院院士鄔賀銓說道，「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效，隨著智慧城市的建設，社會將步入「大數據」時代。」
（四）未來，改變一切
未來，企業會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。
數據的再利用：由於在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們並不急需使用也不擅長再次利用這些數據。例如，行動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯網所記錄和保留了下來，並且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的？
眼下中國互聯網熱門的話題之一就是互聯網實名制問題，我願意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯網才能對我們的隱私給予更好保護

Ⅵ 大數據處理的五大關鍵技術及其應用

作者 | 網路大數據

來源 | 產業智能官

數據處理是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在於預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。其中主要工作環節包括：

大數據採集 大數據預處理 大數據存儲及管理 大數據分析及挖掘 大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

一、大數據採集技術

數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。

大數據採集一般分為：

大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。

基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。

二、大數據預處理技術

完成對已接收數據的辨析、抽取、清洗等操作。

抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。

清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。

三、大數據存儲及管理技術

大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。

開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。

開發大數據安全技術：改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

四、大數據分析及挖掘技術

大數據分析技術：改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。

機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

數據挖掘主要過程是：根據分析挖掘目標，從資料庫中把數據提取出來，然後經過ETL組織成適合分析挖掘演算法使用寬表，然後利用數據挖掘軟體進行挖掘。傳統的數據挖掘軟體，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會採用抽樣方式來減少數據分析規模。

數據挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由於數據挖掘問題開放性，導致數據挖掘會涉及大量衍生變數計算，衍生變數多變導致數據預處理計算復雜性;二是很多數據挖掘演算法本身就比較復雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如K-means聚類演算法、PageRank演算法等。

從挖掘任務和挖掘方法的角度，著重突破：

可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。 數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。 數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

預測分析成功的7個秘訣

預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現使得用戶能夠基於歷史數據和分析技術(如統計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。

盡管如此，與任何新興技術一樣，想要充分發揮預測分析的潛力也是很難的。而可能使挑戰變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。

預測分析有可能徹底改變許多的行業和業務，包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。AI網路技術公司Mist Systems的聯合創始人、首席技術官Bob fridy預測:「深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯網和蜂窩技術所帶來的轉變一樣。」。

這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。

1.能夠訪問高質量、易於理解的數據

預測分析應用程序需要大量數據，並依賴於通過反饋循環提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數據和分析官Soumendra Mohanty評論道:「數據和預測分析之間是相互促進的關系。」

了解流入預測分析模型的數據類型非常重要。「一個人身上會有什麼樣的數據?」 Eric Feigl - Ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在Facebook和谷歌上收集的實時數據，還是難以訪問的醫療記錄所需的醫療數據?」為了做出准確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數據。

簡單地將大量數據扔向計算資源的預測建模工作註定會失敗。「由於存在大量數據，而其中大部分數據可能與特定問題無關，只是在給定樣本中可能存在相關關系，」FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，FactSet是一家金融數據和軟體公司。「如果不了解產生數據的過程，一個在有偏見的數據上訓練的模型可能是完全錯誤的。」

2.找到合適的模式

SAP高級分析產品經理Richard Mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的數據一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數數據集都有其隱藏的模式。」

模式通常以兩種方式隱藏:

模式位於兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數據進行比較來發現一種模式。Mooney說:「如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀並審查合同。」

模式顯示了變數隨時間變化的關系。「以上面的例子為例，了解客戶打開了200次電子郵件並不像知道他們在上周打開了175次那樣有用，」Mooney說。

3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報

紐約理工學院的分析和商業智能主任Michael Urmeneta稱:「如今，人們很想把機器學習演算法應用到海量數據上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次治癒所有形式的癌症一樣。Urmeneta解釋說:「這會導致問題太大，數據太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。」

而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家」 。「這樣，我們就很可能會有更清晰或更好理解的數據來進行處理。」

4.使用正確的方法來完成工作

好消息是，幾乎有無數的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經濟分析和決策實踐主任Angela Fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的項目是那些真正深入思考分析結果並讓其指導他們選擇方法的項目——即使最合適的方法並不是最性感、最新的方法。」

羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:「用戶必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列數據、時間數據的統計特性，然後將其外推到最有可能的未來，」Yang說。

5.用精確定義的目標構建模型

這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。「有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現或提供價值，」汽車、保險和碰撞修復行業的SaaS提供商CCC信息服務公司的產品管理高級副總裁Jason Verlen評論道。

對此，Fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」

6.在IT和相關業務部門之間建立密切的合作關系

在業務和技術組織之間建立牢固的合作夥伴關系是至關重要的。客戶體驗技術提供商Genesys的人工智慧產品管理副總裁Paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。

7.不要被設計不良的模型誤導

模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的數據構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的預測。

沒有實現適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限資料庫中，實際的減肥結果可能會被隱藏起來。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。

在我國，大數據將重點應用於以下三大領域：商業智能 、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

Ⅶ 大數據技術的應用

大數據的應用是以大數據技術為基礎，對各行各業或生產生活方面提供決策參考。

大數據應用的典型有：電商領悟、傳媒領領域、金融領域、交通領域、電信領域、安防領域、醫療領域等。

同時大數據的應用是把雙刃劍，一方面可以為我們帶來便利，另一方面也會造成個人隱私泄露的問題。

Ⅷ 院士專家談 - 時空大數據：地理信息產業融合發展必由之路

作 者 ：中國工程院院士 王家耀

地理信息產業是以現代測繪和地理信息系統、遙感、衛星導航定位等技術為基礎，以地理信息資源開發利用為核心，從事地理信息獲取、處理、應用的高技術服務業。自20世紀60年代地理信息系統提出以來，其應用逐漸拓展到多個行業，從產生、成長到壯大，地理信息產業發展取得了可喜成績。

當前，我國的經濟和 社會 發展已經進入新的 歷史 階段， 社會 主要矛盾已經轉化為人民日益增長的美好生活需要和不平衡不充分的發展之間的矛盾；以5G、雲計算、大數據、邊緣計算、物聯網等為代表的新技術快速發展，人工智慧技術也因深層神經網路的成功而獲得了巨大進步；隨著我國行政體制改革和自然資源管理體系的建立，地理信息產業已融入自然資源管理體系中。面對新的 社會 需求、新的技術進步和新的管理體系要求，亟待根據國家大政方針、 社會 生產需要、技術發展趨勢、產業發展規律，做好地理信息產業的工程技術、商業模式、產品類型的轉型升級與融合創新，進一步提高地理信息產業發展的質量和水平。

地理信息產業融合發展的驅動力——人工智慧

信息化的發展遵循從數字化到網路化再到智能化的規律，地理信息產業的發展亦如此，智能化是地理信息產業融合發展的高級階段。

「互聯網 」改變了地理信息產業發展的思維方式。「互聯網 」的本質是跨界融合。「基礎地理信息 」和「通用時空大數據平台 」的本質也是跨界融合。「 」是核心，提出跨界融合的解決方案是關鍵。只有這樣，才能更充分地發揮基礎地理信息和通用時空大數據平台的「基礎」和「通用」作用，實現地理信息產業到時空大數據產業的轉型升級。

雲計算具有的信息資源管理、處理和應用的「全面彈性」，可以支撐「地理信息產業」到「時空大數據產業」的轉型。時空大數據產業化需要超強計算能力的支持。雲計算作為一種新的計算模式，通過「池化」和「雲化」把數千台甚至上萬台機器都放在一個「池子」裡面，這是「資源彈性」；並在「資源彈性」即基礎設施即服務（IaaS）之上增加了一層「應用彈性」，包括平台即服務（PaaS）和軟體即服務（SaaS），以滿足時空大數據的「應用彈性」需求。雲計算支撐時空大數據處理的分布式、協作（同）化和智能化；通過任務分解，解決分布式問題；通過工作流重構，解決並行問題；通過演算法調度，解決協作（同）化問題。

時空大數據產業

——屬於第四產業的范疇

時空大數據，指基於統一時空基準活動或存在於時間和空間與位置直接或間接相關聯的大數據。據此，時空大數據由時空框架數據和時空變化數據兩大類數據組成。

時空框架數據指基於統一時空基準的衛星導航定位數據（含連續運行參考站 CORS數據）、遙感影像數據、地圖數據、地名數據等。時空變化數據包括 社會 經濟人文數據、位置軌跡數據、與位置相關聯的空間媒體數據、社交網路數據、搜索引擎數據、視頻觀測數據、生態環境監測數據等。時空變化數據聚合（關聯）在時空框架數據上，就構成了時空大數據。時空大數據具有位置、屬性、時間、尺度、解析度、多樣性、異構性、多維性、價值隱含性、快速性等特性。時空大數據產業，指以天空地海感測器網路為基礎，以時空信息「獲取（感測網） 處理（生產） 應用（服務）」為產業鏈，以人工智慧等新興信息技術為支撐，以數據密集型計算為特徵的知識密集型信息產業，屬於從第三產業中分離出來的第四產業的范疇。同地理信息產業相比較，時空大數據產業內涵要寬泛得多，規模要大得多，類型更具多維性和多樣性，知識更密集，速度更快，產品更加多樣化和個性化，其應用領域更加廣闊，具有良好的產業發展前景。

時空大數據產業化的核心

——時空大數據平台

時空大數據平台是時空大數據產業化的核心。

它是指把各種分散的和分割的大數據即時空框架數據和時空變化數據匯聚到一個特定的平台上，並使之發生持續的聚合效應。這種聚合效應就是通過數據多維融合和關聯分析與數據挖掘，揭示事物的本質規律，對事物做出更加快捷、更加全面、更加精準和更加有效的研判和預測。從這個意義上講，時空大數據平台是大數據的核心價值，是大數據發展的高級形態，是大數據時代的解決方案。從產業化的角度講，通用時空大數據平台是指將時空框架數據匯聚在一個特定平台上，利用這個平台生產軍民兩用的基礎測繪地理信息產品。

所謂「通用時空大數據平台+」模式，即以通用時空大數據平台作為框架，聚合民用、軍用的時空變化數據，分別構成時空大數據平台。「通用時空大數據平台+民用」模式，即將地方政府各部門各行業的政務、自然資源、規劃、交通、水利、管網、人口、經濟、人文、 社會 、醫療、教育、電力、公安等數據匯聚在通用時空大數據平台上，使之成為新型智慧城市的「智腦」，通過持續的聚合效應，生成各類（種）民用深加工知識產品，為政府綜合決策、各部門各行業和 社會 公眾提供智能化服務。

時空大數據產業化是通過時空大數據平台產業化實現的。因為時空大數據產業化是一個新問題，應該走一條從基礎研究起步的產業化創新之路。這條創新之路首先要研究和建立以數據科學為核心的時空大數據理論體系。目前，「數據科學」的邊界還不清晰，時空大數據理論研究薄弱，更未形成時空大數據的理論體系，而這是時空大數據產業化的基礎。因此，這條創新之路要研究和建立以「數據隱含價值 計算發現價值 應用實現價值」為核心，以「數據獲取（感測器網） 處理（生產） 應用（服務）」為產業鏈的時空大數據產業化技術體系。走在這條創新之路上的人，更要研究和設計包括軟體產品、硬體產品、軟硬體集成產品、各類（種）應用平台產品和數字產品在內的時空大數據產品體系。

總之，在當前全球數字經濟快速發展的大背景下，數字化的知識和信息作為關鍵生產要素，以數字技術為核心驅動力量，以現代信息網路為重要載體，通過數字技術與實體經濟深度融合，數字經濟能夠不斷提高經濟 社會 的數字化、網路化、智能化水平，以加速重構經濟發展與 社會 治理模式。地理信息產業作為處理位置數據的核心產業，可以積極推動其基於「通用時空大數據平台+」模式深度融入數字產業化、產業數字化、數字化治理與數據價值化領域，積極融入自然資源管理工作整體布局，主動引領以地理信息為基礎的新型智慧城市、實景三維中國、新型基礎測繪建設，推進地理信息產業向全產業鏈發展，擴大地理信息產品供給面，加大地理信息消費級產品研發，鼓勵新應用、培育新市場，讓地理信息產品通過生態建設、智慧管理、數字經濟服務國家戰略建設並惠及全 社會 ，從而促使地理信息產業向時空大數據產業的融合發展與轉型升級。

Ⅸ 什麼是大數據，大數據為什麼重要，如何應用大數據

「大數據」簡單理解為：

"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。大數據是一個抽象的概念，對當前無論是企業還是政府、高校等單位面臨的數據無法存儲、無法計算的狀態。大數據，在於海量，單機無法快速處理，需要通過垂直擴展，即大內存高效能，水平擴展，即大磁碟大集群等來進行處理。

大數據為什麼重要：

獲取大數據後，用這些數據做：數據採集、數據存儲、數據清洗、數據分析、數據可視化

大數據技術對這些含有意義的數據進行專業化處理，對企業而言，大數據可提高工作效率，降低企業成本，精準營銷帶來更多客戶。對政府而言，可以利用大數進行統籌分析、提高管理效率、管理抓獲犯罪分子等。對個人而言，可以利用大數據更了解自己等。

如何應用大數據：

大數據的應用對象可以簡單的分為給人類提供輔助服務，以及為智能體提供決策服務。

大數據不僅包括企業內部應用系統的數據分析，還包括與行業、產業的深度融合。具體場景包括：互聯網行業、政府行業、金融行業、傳統企業中的地產、醫療、能源、製造、電信行業等等。通俗地講「大數據就像互聯網+，可以應用在各行各業"，如電信、金融、教育、醫療、軍事、電子商務甚至政府決策等。

Ⅹ 什麼是時空大數據

時空大數據

spatio-temporal big data

時空大數據定義：基於統一時空基準（時間參照系和空間參照系）、活動（運動變化）在時間和空間中與位置直接（定位）或間接（空間分布）相關聯的大規模海量數據集。

相關名詞：大數據 科學大數據 場景大數據 遙感大數據 地質大數據 交通大數據

【時空大數據相關】

時空大數據除具有一般大數據的5V特徵外，還具有位置特徵、時間特徵、屬性特徵、尺度（解析度）特徵、多源異構特徵、多維動態可視化特徵。時空大數據的這些特徵，有助於時空大數據的分析與挖掘，揭示大數據的時間變化趨勢和空間分布規律。任何規律的得出，任何決策的作出，都必須依據一定時間、確定地點（地區）的大數據，即時空大數據，同時也給時空大數據的組織、存儲、管理和提取增加了難度。

時空大數據由時空框架數據和時空變化數據構成。時空框架數據一般相對變化較慢，包括時空基準數據、全球衛星導航定位（GNSS）與連續運行參考站（CORS）數據、空間大地測量與物理大地測量數據、遙感影像數據、數字地圖與地名數據、海洋測繪數據、世界海峽與通道數據等；時空變化數據一般變化快，包括社交網路數據、搜索引擎數據、視頻觀測數據、網路空間數據、位置軌跡數據、變化檢測數據、與位置相關的空間媒體數據、空間環境數據、海洋水文數據、社會經濟人文數據、部門行業數據等。時空大數據的核心，是將時空變化數據融合或關聯到時空框架數據上。

時空大數據的提出，反映了人們對大數據本質及其研究內容認識的豐富和深化，揭示了大數據的時空特性，明確了數據文化是尊重事實、強調精準、推崇理性和邏輯的科學文化，這是我國時空大數據發展的靈魂。時空大數據的研究，對我國大數據理論體系、技術體系、產品體系和應用服務模式的形成和創新發展具有重要的實踐意義，有助於形成數據驅動的大數據創新體系和發展模式，推動構建以數據為關鍵要素的數字經濟並形成現代經濟體系，運用大數據提升國家治理的現代化水平與促進保障和改善民生。（時空大數據相關：中國工程院院士、河南大學教授王家耀）