⑴ 正確運用避免陷入大數據的「陷阱」
正確運用避免陷入大數據的「陷阱」
通常,對於新的IT關鍵詞必定會出現「反對派」。最近,「大數據」就成為被攻擊的對象,諸如「大數據失敗論」等論調也明顯增加。
業界對大數據抱著極大的期待,這一點從大量的大數據研討會和展示會風潮就足以證明。這些年來,除了雲計算浪潮,缺乏熱烈話題的IT業界而言,大數據是期待已久的大型關鍵詞,也許大數據會成為恢復業界活力的強心劑。
與此同時,日本政府提出新的IT戰略--「將行政數據向民間開發,以便不斷創造新商務」。也就是說,如何有效利用數據,推動商業成功,業已成為國家戰略的一環。
雖然筆者既不是強烈的贊成派也不是反對派,但通過以往的采訪經驗,對處理數據的難度有著清醒的認識。更何況涉及到大數據,其難度顯而易見。
筆者周邊很多人對大數據也有著各種不同的看法,提出各種問題。當然這些對於IT業界的讀者而言,都是理所當然的事情,筆者說這些也許是班門弄斧了。但是,正是這些眾所周知的道理通常也是非常重要不可忽視的。因此,下面筆者將重新提出大數據的「陷阱」,探討如何才能避免運用大數據的失敗。
是否真正需要大量的數據
首先,必須明確的一點是,是否真正需要大量的數據。
在一次活動中,一位統計分析的專家在談到大數據時說:「本來統計分析學是如何通過少量的取樣,去了解事務整體的學問。例如,電視的收視率調查就是一個典型的事例,這類調查就是通過極少的樣本,來掌握日本全國的收視狀況。如果目的明確,並不需要大量的數據。」
由於上述言論出自目前作為「數據科學家」備受矚目的統計分析方面的專家之口,讓筆者不禁大吃一驚。這就是說,只要有一定量的數據,無關數據數量,分析的結果並不會有很大的差別。如果果真如此,不禁讓人產生懷疑,即到底大數據是為何而存在。
聽到上述觀點,使人感到大數據所面臨的矛盾的應當不僅僅是筆者一人。本以為通過大數據分析,滿懷期待能夠發現以往沒有認識到的新的東西,但有時其結果不過是已有所知的事實而已。如果企業為系統開發投入數十億日元,得出的不過是證明資深職員「經驗」的結論,這也未免讓人難以接受。
正因為如此,就有必要重新考慮為何需要大數據這一問題。例如,企業需要明確通過將有交易往來的公司和社交媒體等本企業外的大量數據進行組合,是為達到何種目的等,即有必要事先制定大數據的目標。
數據的「質量」有無問題
第二點是由誰來維護大量的數據,即數據的「質量」如何能夠得到保障。
筆者曾聽說這樣一件事。某企業的總經理每個月都會收到有交易往來的IT供應商的宣傳(PR)雜志,但收件人的頭銜不是「總經理」,而是他曾經兼任公司CIO時的頭銜「常務董事」。雖然將頭銜搞錯,但還是都能收到,因此並沒有太在意。但當這家IT供應商的總經理到公司進行禮節性拜訪時,就提出了希望改一下頭銜的想法。
而這家IT供應商的新的賣點是大數據,公司的總經理當場表示回去馬上會進行修改。起初以為這點事情對於運營大數據業務的IT供應商而言不過是舉手之勞,一定會進行糾正。但是,等到下一個月他收到的的PR雜志時,發現收件人的頭銜仍然是「常務董事」。這位總經理通過兩本PR雜志感到彷彿看到了大數據的現狀,因此他非常失望地說:「歸根到底IT供應商並沒有維護顧客資料庫」。
上述例子雖然是顧客數據,而不僅僅是顧客數據,說到大數據必然還需要處理很多各種各樣的企業外部的數據。但是,這些數據是否是最新數據,其數據的精確度又如何等數據的「質量」就會非常重要。分析出處不明的數據將毫無意義。如果顧客數據不能隨時進行維護,也就不會產生任何價值。不應當將當初以為是寶山的大數據,變成一座堆滿垃圾的山。
是否忽視了現場職工的工作干勁
第三點就是企業不僅應當努力培養數據科學家,同時也需要提升現場職員的分析數據的能力。如果在店頭等現場直接接觸顧客的員工變得「擅長數字」,他們也能夠常常通過數據考慮事情並進行判斷,這樣的企業必定會強大起來。
例如,有一家超市的店頭銷售員就從與顧客的對話中得到啟發,通過購進新的商品或是改變商品陳列的方法,提升了銷售額。又比如,在特快列車上負責銷售的員工,發現似乎「可吸煙座位的咖啡暢銷」,當他整理出不同列車的銷售業績,結果發現確實是如此。於是決定在吸煙車廂集中推銷咖啡,結果咖啡的銷售量明顯增加。
當然,通過現場增加的銷售額,也許和利用大數據獲得的銷售數字相比很小,而且其分析能力也遠遠不及數據科學家。但是即便如此,如果通過將這種方式橫向拓展到其他現場,積累的數字也會非常可觀。同時,最為重要的是,這種方式能夠提升現場員工的工作動力。
實際上,某零售企業自從將其銷售分析統一由總公司實施後,店頭員工就失去干勁,甚至出現退職的員工。這說明只依靠上級的指令,則會降低現場的職業道德。因此,這家公司決定給予現場員工自由分析判斷的職能,由此店頭又重新恢復了活力。雖然大數據非常重要,但是如果將許可權集中在某些部門,則會導致現場喪失工作干勁。
以上三點實際上不僅僅對大數據而言非常重要,而且同時適用於整個信息系統。大數據是IT業界期待已久的關鍵詞,為使其成長壯大,就需要腳踏實地的努力,而不應被其華麗的部分所束縛擺弄。正因為如此,筆者認為提出的上述三點需要重新銘記心中。
⑵ 大數據時代帶來更理性、更可靠的決策
大數據時代帶來更理性、更可靠的決策_數據分析師考試
究竟是什麼魔力,讓「大數據」這一概念得到全球各國的普遍關注?到底什麼是「大數據」?它能夠在多大程度上改變我們的生活?在我們尋求對這些重要問題的解答時,牛津大學網路學院互聯網研究所教授維克托·邁爾-舍恩伯格出現在我們的視野中;希望我們對他的采訪,可以幫助讀者們找到這些疑問的答案。
最近一段時間,「大數據」的熱潮席捲全球,正如美國《福布斯》雜志所說的那樣,如今,在瀏覽新聞網站或者參加行業會議時,想看不見或聽不到「大數據」這個詞幾乎不可能。去年,美國6個聯邦政府部門宣布將啟動「大數據研發計劃」,投資超過2億美元以改進從海量和復雜的數據中獲取知識的能力。同時,我國科技部發布的「『十二五』國家科技計劃信息技術領域2013年度備選項目徵集指南」也把大數據研究列在首位。眼下召開的全國「兩會」上,有全國人大代表提出要把發展「大數據」上升為國家戰略。
究竟是什麼魔力,讓「大數據」這一概念得到全球各國的普遍關注?到底什麼是「大數據」?它能夠在多大程度上改變我們的生活?眼前對「大數據」的關注度是否已經過高了呢?在我們尋求對這些重要問題的解答時,英國牛津大學網路學院互連網研究所教授維克托·邁爾-舍恩伯格(Viktor Mayer-Schonberger)出現在我們的視野中,討論「大數據」,他如果不是最合適的人選,也起碼是合適人選之一。
20多年來,維克托一直致力於網路經濟、信息與創新、信息監管、網路規范與戰略管理的研究。還在「大數據」這一概念眾說紛紜時,維克托就已進行了系統深入的研究,2010年,他在英國《經濟學人》雜志上和數據編輯肯尼思·庫克耶一起,發表了長達14頁的大數據專題文章。稱他為最早洞見大數據時代發展趨勢的數據科學家之一,並不為過。
《經濟學人》說,在大數據領域,維克托是最受人尊敬的全方位發言人之一;美國《科學》雜志說,若要發起一場關於這個問題的深入討論,沒有比他更好的發起者了。
除了理論研究以外,維克托還非常接近實戰世界,早在上大學期間,他就先後成立了兩家數據安全和製作反病毒軟體的公司,而在他寫就的《大數據時代》一書中,那些最前沿、最嶄新的大數據應用案例,都得益於他多年來緊跟企業與商業應用的步伐。他的咨詢客戶中,不乏微軟、惠普、IBM、亞馬遜、臉書、推特、VISA等大數據先鋒們。
目前,維克托還是歐盟互聯網官方政策背後的重要制定者與參與者,尤為重要的是,他還任職過新加坡商務部、汶萊國防部、科威特商務部等部門,特別熟悉亞洲信息產業的發展與戰略布局。
希望我們通過電子郵件對維克托的采訪,可以幫助讀者們找到這些疑問的答案。
失去微觀層面上的精確度,為的是獲取宏觀層面上的洞察力
文匯報:今天,「大數據」已經成為全球炙手可熱的詞彙,您是從何時開始關注它的?
邁爾-舍恩伯格:多年來,我一直致力於研究數據在信息經濟的發展中所扮演的重要角色,我與肯尼思·庫克耶(Kenneth Cukier,我的合著者)一起發布了一系列相關研究報告。大約三年前,在我自己組織的一次會議上,我倆都意識到「大數據」的存在已經不僅僅是一種炒作或者什麼宏大的宣言了,而將實實在在地改變我們的工作、生活以及整個社會,於是,我們決定就此專題寫一本書。
文匯報:那麼在您看來,究竟什麼是大數據時代?它和傳統數據時代到底有什麼差別?我們知道,像沃爾瑪這樣的公司早在多年前,就已經將大數據運用到了商業實踐中。
邁爾-舍恩伯格:事實上,過去幾個世紀以來,數據已經在科學家們制定決策的過程中扮演了一定的角色,而過去幾十年間,這一做法又延伸到了一些公司的決策制定過程。但在大數據時代之前,數據是非常匱乏的,我們擁有的數據非常少。因此,我們的決策、我們構建的制度都是建立在這樣一種數據匱乏的基礎上。今天,一切變得非常不同,它體現在三個不同的方面,我們稱之為「更多」、「更亂」和「相關性」。
文匯報:這三個特徵也是您在《大數據時代》一書中非常強調的,它們甚至會顛覆我們過去的整個思維方式。您能否具體描述一下這到底是怎樣的過程?
邁爾-舍恩伯格:好的。我所說的「更多」,是指圍繞任何一個我們想要調查的特定問題,或者是需要我們回答的疑問,我們都可以比過去任何時候獲取更多的數據。在大數據時代,我們可以利用海量的數據得到非常詳盡的見解,這是傳統方法所不能做到的。
可以這么說,大數據時代和傳統數據時代的區別,就像解析度在200萬像素的舊數碼照片,一下子提高到2400萬像素那樣。後者是一個非常非常大的文件,它可以提供更多細節。它可以讓我們不斷放大,看清楚小到顆粒狀的細部,而具有較低解析度的圖像在這些細節方面就會非常模糊。
基因信息就是一個很好的例子。美國有一家叫23andMe的新公司提供個人的DNA測試分析,以發現一些疾病徵兆。它的成本只有兩三百美元,並提醒客戶關注會發展成嚴重疾病的個人癖好。但是公司並不對每個客戶的全基因組進行測序,而是針對已知特徵的位點(經研究得知因某種疾病存在,而可能會出問題的DNA片段)進行比對。這意味著,當一個新的特徵被研究發現時,23andMe公司就不得不再次對客戶的DNA進行測序並建立更完整的檔案。
蘋果公司的史蒂夫·喬布斯嘗試了非常不同的方法。他得了癌症後,就有了自己全部的基因密碼,數十億的鹼基對測序。這花費了他超過10萬美元的成本,但這可以讓醫生完整地洞察他的基因密碼。每當葯物由於喬布斯的癌症病變而失去有效性,他們就可以根據喬布斯特定的基因信息,尋找到有效的替代葯物。遺憾的是,這也沒有保住喬布斯的命,但是在這一過程中獲得的數據,已經延長了他的生命。
由於技術創新,現在收集大量信息的成本變得越來越低。數年前,史蒂夫·喬布斯花費了六位數的金額才做到的事情,今天,不到1000美元就可以獲得同樣的服務了。
而「更亂」指的是,在小數據時代,因為數據是如此稀少,我們可以確保自己收集的每一個數據點都是非常准確的。相比較而言,大數據往往是凌亂和質量參差不齊的。但是,相比以高額代價來保證測量和收集少量數據的精確性,在大數據時代,我們將接受這種雜亂,因為我們通常需要的只是一個大方向,而不是努力了解一種現象的細枝末節。我們並不是要完全放棄精確性,我們只是放棄對精確性的熱衷。我們失去微觀層面上的精確度,為的是獲取在宏觀層面上的洞察力。
電腦翻譯就是其中一個例子。1990年代,IBM的研究人員使用了一套非常精確的文件(加拿大議會記錄的法語和英語版)來訓練計算機。盡管計算機完全按照規則行事,但基於此的翻譯質量卻非常低。然後,谷歌在2006年開始介入這一領域,他們沒有使用來自加拿大政府的幾百萬句標准翻譯,而是使用隨手可得的任何語言。他們在整個互聯網上,利用數十億頁質量參差不齊的翻譯,這些翻譯不怎麼標准——但是,這是一個小的權衡——他們能夠使用的數據大大增加了,結果翻譯質量反而提高了。與更少、更標準的數據相比,更多凌亂的資料完勝了。
「更多」和「更亂」組合到一起,產生了第三個特點,「相關性」,這也是大數據帶給我們的最根本性的轉變。我們的思維將從因果關系轉向相關關系。至今為止的整個人類歷史里,全世界的人們都在尋找事件發生的原因,探尋「為什麼」。但我們對原因的執著探索往往帶領我們走向錯誤的方向。所以,我們建議,在大數據時代,在許多情況下,我們可以僅僅尋找「是什麼」,而不必完全理解「為什麼」。例如,對於大數據的分析中,我們可以發現機器震動中一些非常微小的變化,這些變化表明機器將很快損壞。這使我們能夠在部分機器零件報廢前更換它們,這被稱為「預測性維護」,它可以節省不少錢。但除了提高消費效率,「相關性」還可以做更多的事情。
比如對早產兒而言,即使他們長大成人,這些小寶寶仍舊是非常脆弱的,哪怕是遇上很小的感染。醫生卡羅琳·麥格雷戈研究如何給這些嬰兒最好的生存機會。使用大數據分析,每分鍾可以搜集這些嬰兒超過一千個數據點,麥格雷戈發現一個令人震驚的事實:每當這些早產兒出現非常穩定的標志時,他們的身體其實並不穩定,正在准備發病。有了這方面的知識,她就能在一個非常早期的階段,確定嬰兒是否需要葯物治療,從而挽救更多孩子的生命。
這是典型的大數據應用:醫生麥格雷戈通過更全面的感測器,可以比以往搜集到更多的數據。她也接受,在這種情況下,並不是所有的數據都是准確的,從而也會導致她分析中存在不精確的可能。她把「為什麼」這個問題放在一邊,而用一種更務實的方式來提供幫助,她尋找「是什麼」,這才是一個更好的預見感染的辦法。
我們應該記住:大數據也可以挽救生命。
正確使用大數據,可以改善醫療、教育水平,促進人類發展
文匯報:大數據時代的到來,是否將會引領新一輪的產業革命?我們應該怎樣客觀地看待它的價值?
邁爾-舍恩伯格:大數據將會極大地改變社會生活的方方面面,但是它的價值能否等同於工業革命,這個問題目前還不好說。我個人猜想可能不能,原因是在19世紀初工業革命剛剛開始的時候,經濟發展還處於非常低的水平上,所以相對來說,當時的人們從工業化過程中所能獲得的生活水平的提升是非常巨大的,今天則非常不一樣了。
我們真正想強調的是,大數據時代將推動我們從根本上改變企業的運作方式,以及我們在社會中的生活方式。大數據可以提高人類制定決策的能力,這種提高將是大幅度的。有了大數據,我們不是簡單地提高經濟效率,而是將挽救人類生命,延長我們自己的壽命。我們還將改善教育,促進發展。同樣的道理,我們必須要小心。大數據同樣也有「陰暗面」,正如我們在書中討論的那樣。如果應用錯誤,大數據也可能會化為一個強有力的武器。因此,我們必須確保正確使用大數據。
文匯報:您提到了大數據時代的「陰暗面」,它的到來會加深數字化鴻溝嗎?
邁爾-舍恩伯格:大數據是一個強大的工具。因此,如果我們使用了錯誤的方式,它就可能會加深數字鴻溝。但是,如果我們用得好,相信大數據就可能會改善我們的生活,尤其是對那些不那麼幸運的人而言。在這一點上,你可以把它想像成火、電或是抗生素等等。
文匯報:也就是說,您對大數據的價值認知,是基於一個更長時段的歷史發展。
邁爾-舍恩伯格:如果以非常廣闊的視角來看人類歷史,我認為,人類一直想要理解世界。起初,許多人的「知識」是基於迷信和預感。知識的發展非常慢,人們需要非常深層次的思考,再通過實踐進行檢驗,以確保知識是可用的。
但即使如此,我們的知識仍舊不是百分之百可靠的。例如,19世紀,路易·巴斯德一直在研究狂犬病疫苗,當時有一個被狗嚴重咬傷而染上狂犬病的小孩,父母擔心孩子會死去,懇求巴斯德試試他的試驗性疫苗。巴斯德照做了,孩子活了下來。隨後的慶祝活動上,巴斯德以一個英雄的身份出現,他挽救了年輕孩子的性命。但是事實的確如此嗎?今天,通過更深入的研究,我們知道,在被類似病狗咬到的兒童中,只有25%會感染狂犬病。所以75%的兒童哪怕使用了無效的疫苗,仍舊可以存活下來。這個故事告訴我們,我們以為自己生活在非常科學的世界中,但其實,我們擁有的數據非常少。一種新的治療方法在被證明安全之前,需要做幾十個甚至幾百個醫學實驗來進行測試。但這仍舊太少,人們還是會受到傷害,因為我們依靠的數據太少。在大數據時代,我們可以告別數據匱乏,做出的決策將更理性,更基於事實,當然也更可靠。這是大數據時代帶給我們的希望——更好的決策將會代替我們過往那些可疑的迷信和不可靠的人類預感。
文匯報:我們看到,麥肯錫公司2011年就發布報告推測,如果把大數據用於美國的醫療保健,一年可產生潛在價值3000億美元,用於歐洲的公共管理可獲得年度潛在價值2500億歐元;服務提供商利用個人位置數據可獲得潛在的消費者年度盈餘6000億美元;利用大數據分析,零售商可增加運營利潤60%,製造業設備裝配成本會減少50%。「數據創造價值」的預測已經非常振奮人心。在您看來,大數據是否只是一門價值不菲的生意?
邁爾-舍恩伯格:不,大數據可以做更多。醫療方面,我們前面已經提過,只是分析一些重要的徵兆,早產嬰兒的感染出現明顯症狀的數小時前,醫生就可以預見其生病。
同樣,通過大數據分析,我們也可以找出學校教科書中的哪一部分對學生而言效果最好,也可以找出效果不好的部分。到現在為止,我們只能按照人類的預感,即教師自己判斷學生在理解特定課程時是否會有疑問;但在大數據時代,我們有實際的數據可以參考,例如數據顯示,電子書籍的某些頁面被看過許多遍,因為它讓學生感覺費解,據此可以調整我們的教材。這將從根本上改變教育。
或者舉公共政策為例:Inrix是為智能手機提供導航軟體的公司,它還提供實時的交通數據。之所以能做到這一點,是因為每個用戶本身都成為了交通流量狀況的感測器,把位置和速度信息都發回Inrix公司。這樣一來,就可以給行進在交通堵塞路段周圍的客戶提供良好服務。Inrix公司有一大堆人們的活動數據,這還將有助於城市規劃者了解大家的通勤模式,人們從哪裡出發去工作,然後返回,並建設基礎設施,如道路和鐵路。這是最有效的應用。節省錢的同時,也有利於整個社會的管理。
文匯報:大數據對於商業決策、學術研究乃至國家治理的作用是顯而易見的;但是對日常生活中的普通人而言,他們一定會從中受益嗎?為什麼在大數據時代,還是有不少人主張遠離過載的信息和數據、返璞歸真回到傳統的社群生活之中呢?個人生活空間一定得從「簡單平面」轉變到「多維存在」才有意義嗎?
邁爾-舍恩伯格:千百年來,人類已經經歷的世界,都是在少量數據的基礎上產生很多想法的世界。海員們結束長途航行後回來,地圖才會在這一次經驗的基礎上進行重新繪制。這顯然不會很精確。經過試驗和犯錯的周而復始,人類發展得非常緩慢。但是,當我們只有非常少的數據時,這是理所當然的結果。今天,我們有這么多的數據,難怪人類會不堪重負。但是,現在大數據可以提供幫助。如果人類不太善於消化這些過多的信息,大數據分析可以幫助我們將信息進行過濾,並進一步可視化,使我們能夠輕松地加以使用。
人們尚未普遍具備與大數據時代相匹配的思維和技能
文匯報:有專家認為,大數據的未來是數據的APP(加速並行處理)而非基礎構架;也就是說,僅僅有數據平台和基礎構架是無法創造長期價值的。對此您怎麼看?
邁爾-舍恩伯格:我們認為,大數據時代將至少需要和過去時代一樣多的人的獨創性。同時,巨大的資源才是未來時代的金礦,那些擁有這些數據資源的人將獲得的回報是不可想像的。
文匯報:大數據時代,數據都是透明的,我們如何在保護個人隱私、商業機密和國家安全之間取得平衡?您所謂的「互聯網遺忘運動」會是最佳葯方嗎?
邁爾-舍恩伯格:大數據時代所面臨的挑戰是,我們發現了隱藏在數據背後的價值,所以,保留這些數據,然後一遍遍地重復使用數據,往往成為一種明智的選擇。同時,現行的保護個人隱私的法律,特別在西方,針對的是一個傳統數據的世界,而不是一個大數據世界。這就需要我們在保護隱私的規則方面作出調整。我們建議,可以通過調整相關保護規則來實現這一目標,正像你所提到的,我們可以在一定時間以後,選擇遺忘這些數據。
文匯報:大數據時代是一個海量數據有待處理的時代,同時又是一個海量無用信息需要刪除的時代。這是否就是您在《刪除》一書中強調我們要有所取捨的原因所在?
邁爾-舍恩伯格:是。在某種程度上,大數據本身也可以加強隱私的保護。因為如果有一百萬個數據點,一個單獨的數據點就不再那麼重要了,這和傳統數據時代非常不一樣。隨著時間的推移,忘記其中一些數據,並不會破壞整個大數據的運行和使用。
文匯報:大數據現在在全球究竟發展到了什麼階段?處理大數據的技術是否已經在全世界范圍內普及?
邁爾-舍恩伯格:管理和處理大數據的技術都已經存在了,而且並不是非常昂貴。但是,有一樣東西目前仍舊非常缺乏,那就是我們的思維——以理解數據背後所隱藏的巨大價值,以及提取這種價值的專門技能。今天,全球范圍內,人們還沒有普遍具備這種思維和技能,但是我相信,在未來,這種情況會發生改變。我們預計,世界各地的許多大學將提供針對大數據分析的課程,來培訓大數據時代所需要的技能。
文匯報:歷次產業技術革命,中國似乎都是學習者和模仿者;和上幾輪產業技術革命不同的是,大數據時代,中國幾乎和歐美發達國家同時開始技術研發,中國人口又居世界首位,將會成為產生數據量最多的國家。您看好中國在新時代的發展前景嗎?中國在大數據時代是否有創新和領先的可能?
邁爾-舍恩伯格:是的,我們對此非常樂觀。中國很可能成為大數據這一領域的先驅。在大數據時代,中國有很多優勢:中國人都受過良好的教育,特別是在數學和統計方面(這是非常重要的)。中國是一個巨大的多元化社會,這會創造大量機會來創造大數據這一資源,並建立大數據應用。同樣的道理,對於大數據的蓬勃發展,我們還需要相匹配的思維方式,有嘗試新事物和持續創新的願望,以實證事實來作為我們決策的依據。因此,和許多其他社會一樣,大數據時代的確也會給中國帶來非常大的變化。
以上是小編為大家分享的關於大數據時代帶來更理性、更可靠的決策的相關內容,更多信息可以關注環球青藤分享更多干貨
⑶ 專家:中國如何應對大數據時代的挑戰
從小數據到大數據「大數據」是一股新的技術浪潮,也是逐步形成的歷史現象,其具體是指隨著信息存貯量的增多,人類在實踐中逐漸認識到,通過數據的開放、整合和分析,能發現新的知識、創造新的價值,從而為社會帶來「大科技」、「大利潤」、「大智能」和「大發展」等新的機遇。大數據概念的提出,可以追溯到1980年代,但其「數據」二字卻和我們傳統的理解有所不同。傳統意義上的「數據」,是指「有根據的數字」,但在進入信息時代之後,「數據」二字的內涵在擴大,它不僅指代「數字」,還統稱一切保存在電腦中的信息,包括文本、聲音、視頻等。更重要的是,隨著信息技術的進步,其數量在爆炸,特別是新媒體出現之後,數據的收集、保存、維護、使用等任務,成為橫跨各個領域的現象和挑戰。大數據之「大」,並不在於其表面的「大容量」,而在於其潛在的「大價值」。有很多例子可以證明,由於新工具的出現,我們從以前的小數據當中也能發現大的價值。例如,美國把二十多年的犯罪數據和交通事故數據映射到同一張地圖上後驚奇地發現,無論是交通事故和犯罪活動的高發地帶,還是兩者的頻發時段,都有高度的重合性。這引發了美國公路安全部門與司法部門的聯合執勤,通過共治數據「黑點」,交通事故率和犯罪率雙雙降了下來。再例如,最近有學者將白宮200多年總統洗衣服的記錄電子化,然後進行分析,也得出了一些新的結論。這些數據,都是地道的小數據。這說明,小數據只要在縱向上有一定的時間積累,在橫向上有細致的記錄粒度,再和其他數據整合,就能產生大的價值。從這個角度來看,大數據也可以理解為針對某個對象在時空兩個維度上的「全息」數據。這種「全息」,在大數據的時代還表現為「多源」,即有多個源頭在從不同方向對同一個對象進行數據記錄,數據之間互相印證。另外,從全球數據技術投入的資金分布來看,傳統的小數據仍然占據絕對的重頭。據國際數據集團(IDG)統計,2012年,全球對小數據分析工具的投資為349億美元,而對大數據分析工具Hadoop的投資僅為1.3億美元,不及前者的1%。IDG的結論是,傳統的小數據軟體滿足了企業和組織95%的需求。目前行業發展的最新態勢,是 「大」、「小」數據分析工具趨於一體化並在向「雲」遷徙。
⑷ 縱論大數據時代公務員領導力提升之道
縱論大數據時代公務員領導力提升之道
海量數據中,如何快速獲取有價值的信息?利用大數據,可否跳出決策「科學化」陷阱?怎樣的數據平台,可以實現社會治理「去危機」化?
昨日,中國新聞出版研究院黨委書記、副院長黃曉新,省直機關工委黨校校長鄒德文,省委黨校副校長張繼久,華中師范大學公共管理學院院長盧新海,華中科技大學新聞學院電子與網路出版研究所所長陳少華,國家大數據專業委員會秘書長彭鐵元等專家聚首東湖賓館,縱論大數據時代公務員領導力提升之道。
每個個體是數據源,公務員是資源的整合體
「掌握了數據,就擁有了核心競爭力。」會議伊始,彭鐵元亮明觀點:對置身於大數據時代的公務員而言,他們已成為「資源的整合體」,對大數據信息採集、分析、研判、整合能力,是領導力的重要體現。
據公開數據顯示,截至2015年底,我國共有公務員人數716.7萬人。公務員應該具備怎樣的能力?《國家公務員通用能力標准框架(試行)》給出答案:政治鑒別能力、依法行政能力、公共服務能力、調查研究能力、學習能力、溝通協調能力、創新能力、應對突發事件能力、心理調適能力。「在實現國家治理能力現代化、『兩個一百年』奮斗目標和中華民族偉大復興的中國夢的進程中,公務員起關鍵作用。公務員的素質能力,決定目標實現的方式、路徑、效果。」專家們認為,在這個背景下,研究公務員領導力的提升,具有很強的科學性、實踐性、針對性。
確立問題導向,避免決策陷阱
大數據中的數據量非常巨大,包含文本、圖像、聲音、視頻等。如何獲取有價值的信息?提供科學決策?「要學會在海量的數據中挖掘出關鍵的信息,找到各個數據之間的關聯性。」盧新海表示,大數據帶來的是一種思維方式的改變,不再是單一追求政策制定的因果關系,而是要注重各個關系中的鏈接與共享,它是一個開放的平台,政府部門能夠針對不同的問題,很快捷地找到相關的案例,實現各部門之間的協調管理,提升公務員素養。「從問題導向出發,通過數據支撐,避免各種決策陷阱。」鄒德文舉例說,通過古今歷史案例、數據分析,可有效避免三大興衰陷阱:保羅·肯尼迪陷阱、修昔底德陷阱和奧爾森陷阱。著眼當下,也可通過案例支撐,有效避免「短期科學,長期不可取」的「科學化」、「拍腦袋」等決策陷阱。「利用大數據技術,還可實現社會危機治理『去危機』化。」彭鐵元舉例說,對景區遊客信息的採集分析,就可以清晰獲取客流的構成與走向,可作出准確的預判與處突維穩,避免踩踏事件等旅遊事故。
運用眾籌模式,建立「私人訂制」案例庫
「能否建立一個資料庫平台,對所有公職人員開放,針對不同層級、不同類型人員設置不同的案例庫,實現公務員領導力的『私人訂制』?」黃曉新提出的觀點,引發共鳴。
專家們認為,要注意結合不同的地域特點,建立符合當地實際的資料庫,注重實地調研,這樣才能將研究成果真正運用到現實之中,實現其最大價值。「一定要接地氣、務實管用。」張繼久表示,要用案例來指導實際,將理論與實際結合起來,為科學決策作出參考,培養處理突發事件的能力,完成執行的「最後一公里」。
陳少華建議,採取互聯網的眾籌思維,讓每一個公務員參與進來提建議。同時,資料庫要與時俱進,要邊運用邊建設,注重時效性。
⑸ 什麼是大數據,大數據為什麼重要,如何應用大數據
「大數據」簡單理解為:
"大數據"是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。大數據是一個抽象的概念,對當前無論是企業還是政府、高校等單位面臨的數據無法存儲、無法計算的狀態。大數據,在於海量,單機無法快速處理,需要通過垂直擴展,即大內存高效能,水平擴展,即大磁碟大集群等來進行處理。
大數據為什麼重要:
獲取大數據後,用這些數據做:數據採集、數據存儲、數據清洗、數據分析、數據可視化
大數據技術對這些含有意義的數據進行專業化處理,對企業而言,大數據可提高工作效率,降低企業成本,精準營銷帶來更多客戶。對政府而言,可以利用大數進行統籌分析、提高管理效率、管理抓獲犯罪分子等。對個人而言,可以利用大數據更了解自己等。
如何應用大數據:
大數據的應用對象可以簡單的分為給人類提供輔助服務,以及為智能體提供決策服務。
大數據不僅包括企業內部應用系統的數據分析,還包括與行業、產業的深度融合。具體場景包括:互聯網行業、政府行業、金融行業、傳統企業中的地產、醫療、能源、製造、電信行業等等。通俗地講「大數據就像互聯網+,可以應用在各行各業",如電信、金融、教育、醫療、軍事、電子商務甚至政府決策等。
⑹ 「大數據」怎樣改變生活
「大數據」怎樣改變生活
大數據,現在越來越成為了一個很時髦的詞彙。有人把大數據形容為未來世界的石油,有人宣稱掌握大數據的人可以像上帝一樣俯瞰整個世界,美國政府甚至已經把對大數據的研究上升為國家戰略。日前,由中國科協舉辦的「科學家與媒體面對面——大數據離我們生活有多遠」活動中,有關專家為我們介紹了大數據對未來生活的影響。
我們生活在一個充滿「數據」的時代,這里的「數據」,並不僅僅指數字,理論上講,一切可以以文件形式儲存於計算機硬碟的東西,包括數字、文字、圖像、聲音、視頻等,均可稱為「數據」。我們打電話,使用微博、QQ、博客等社交工具,都是在不斷增加著社會總體數據量。
據權威預測,未來每隔18個月,整個世界的數據總量就會翻倍。IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。
數據,除了它第一次被使用時提供的價值以外,那些積累下來的數據海洋並不是無用的廢物,它還有著無窮無盡的「剩餘價值」,關於這一點,人們已經有了越來越多的認識。事實上,大數據已經開始並將繼續影響我們的生活,下面我們不妨試舉幾例。
精準廣告投放已很普遍
很多女性可能有這樣的經歷,使用某瀏覽器在淘寶、京東等購物網站上購買過一本關於懷孕的書籍後,在之後十個月左右的時間里,你的瀏覽器兩側的廣告欄里不斷出現懷孕所需要的東西,如營養食品、對胎兒無影響的孕婦用葯、胎心監測儀、體溫計、血壓計等產品廣告,登錄原來的購物網站,也會在首頁向你推薦這類產品。而且,在十個月之後,你會發現,以上這些廣告開始變成嬰兒用品了。
你以前可能對瀏覽器廣告非常討厭,但對這類廣告,你卻欣然接受,因為它推薦的產品正是你所需要的。這實際上就是大數據應用的一個簡單案例。你的瀏覽經歷已經被瀏覽器和電商所記錄,通過對用戶瀏覽記錄進行大數據分析,就可以推測出你目前是一種什麼狀態,今後又將經歷哪些狀態,於是,專為你定製的廣告就在你需要的時候出現在你的眼前。
大數據最本質的應用就在於預測,即從海量數據中分析出一定的特徵,進而預測未來可能會發生什麼。實際上,上述例子僅僅是大數據應用的最初級階段。因為它所涉及的數據的范圍並不廣泛,其分析原理也非常簡單。而如前言所述,大數據有數據量大、數據多樣性等特徵,實際是將各個維度的數據進行綜合分析進而進行一定的預測。當不同的數據流被整合到大型資料庫中後,預測的廣度和精度都會大規模的提高。例如,當一個資料庫從不同的數據來源獲得了你使用手機的時間和地點、信用卡購物、銀行卡電子收費系統、使用QQ等聊天工具的對象、你的QQ好友關系圖、你在新浪微博、騰訊微博的收聽及被收聽關系圖譜、你交納的水、電、燃氣費等各方面的數據,數據分析師就能通過匹配獲得你生活的不同側面。通過大數據,數據分析可以發現各種各樣的關聯。通過分析,可以發現你多方面的需求,並不僅僅是諸如懷孕書籍和尿不濕之間的簡單關聯了。在數據足夠「大」的情況下,你生活中幾乎所有的需求都可能會被預測出來。例如,從數據分析出你可能會約會,於是會向你推薦衣服;從數據推測出你會出去旅遊,於是向你推薦相關裝備及旅行方式等。
醫療衛生體系會更加精密
通過分析大量用戶的搜索記錄,比如「咳嗽」、「發燒」等特定詞條,谷歌公司能准確預測美國冬季流感傳播趨勢。和官方機構相比,谷歌能提前一兩周預測流感爆發,預測結果與官方數據的相關性高達97%。2009年,在甲型H1N1流感爆發的幾周前,谷歌的工程師們公開發表了一篇論文,不僅預測流感即將爆發,並且其預測還精確到美國特定的地區和州。這讓人們感到十分震驚。准確預測流感疫情,說起來並不復雜,谷歌一直致力於對用戶檢索數據的分析。用戶求醫問葯等搜索數據可謂海量,把這些數據再拿來與美國疾控中心往年記錄的實際流感病例信息相比對,就幫助谷歌作出了准確預測。
在日本也有相似的應用,日本國內有一個網站,你只要打開這個網站用自己的社交網站賬號登錄,就可以在短時間內通過數萬條社交網站記錄找出可能感冒的人,並通過過去的感冒情況和今日的感冒情況進行分析,另外該程序還會結合氣溫和濕度的變化來預測將來感冒的流行情況,並製作一個「易感冒日歷」。目前,此類服務正在日本陸續展開。
對個體而言,大數據可以為個人提供個性化的醫療服務。過去我們去看病,醫生只能對我們的當下身體情況做出判斷,而在大數據的幫助下,將來的診療可以對一個患者的累計歷史數據進行分析,並結合遺傳變異、對特定疾病的易感性和對特殊葯物的反應等關系,實現個性化的醫療。還可以在患者發生疾病症狀前,提供早期的檢測和診斷。早期發現和治療可以顯著降低肺癌給衛生系統造成的負擔,因為早期的手術費用是後期治療費用的一半。
個性化教育可能真正實現
在傳統教育模式下,分數就是一切,一個班上幾十個人,使用同樣的教材,同一個老師上課,課後布置同樣的作業。然而,學生是千差萬別的,在這個模式下,不可能真正做到「因材施教」。
舉例來說,一個學生考試得了88分,這個分數僅僅是一個數字,它能代表什麼呢?88分背後是家庭背景、努力程度、學習態度、智力水平等,把它們和88分聯系在一起,這就成了「數據」。大數據因其數據來源的廣度,有能力去關注每一個個體學生的微觀表現——他在什麼時候開始看書,在什麼樣的講課方式下效果最好,在什麼時候學習什麼科目效果最好,在不同類型的題目上停留多久等等。這些數據對其他個體都沒有意義,是高度個性化表現特徵的體現。同時,這些數據的產生完全是過程性的:課堂的過程,作業的過程,師生或同學的互動過程……而最有價值的是,這些數據完全是在學生不自知的情況下被觀察、收集的,只需要一定的觀測技術與設備的輔助,而不影響學生任何的日常學習與生活,因此它的採集也非常的自然、真實。
在大數據的支持下,教育將呈現另外的特徵:彈性學制、個性化輔導、社區和家庭學習、每個人的成功……大數據支撐下的教育,就是要根據每一個人的特點,解放每一個人本來就有的學習能力和天分。
個人隱私保護 一道能邁過的坎
看了前面這些,讀者可能要擔心了,大數據包含有包羅萬象的數據,其中不少數據涉及個人的職位、年齡、身體狀況、消費水平、旅行習慣等隱私,那麼,在大數據時代,個人隱私能夠得到保護嗎?答案是,只要國家相關部門實時推進隱私保護,企業主動落實隱私保護責任,大數據產業在飛速發展的同時並不會對民眾隱私產生威脅。
在大數據產業中,有兩個基本的作法,一是符號化。符號化是指識別用戶的時候,識別的僅僅是一個「符號」,這個符號與真實信息並不相關,系統通過一定的演算法能夠知道多次登錄的是同一個用戶,但並沒有辦法反推出這個人是誰,因此,電話、住址等信息都沒法與本人關聯起來。二是用戶特徵。用戶特徵意味著在大數據時代企業感興趣的往往是這個用戶的特徵,而不是家庭地址、電話號碼等真正敏感的信息。例如,系統需要了解本科以上學歷、月收入10000元以上、已婚等這樣一個群體,只需要找出符合這些特徵的人的特性,並不關心這個人是誰。這樣也不會造成隱私的泄露。
當然,這些原則性問題有賴於政府推動、企業自律。但我們相信,為大數據產業的健康發展,相關部門,相關企業一定會高度重視這一問題。
以上是小編為大家分享的關於「大數據」怎樣改變生活的相關內容,更多信息可以關注環球青藤分享更多干貨
⑺ 淺析大數據發展趨勢
淺析大數據發展趨勢
雖然大數據仍在起步階段,存在諸多挑戰,但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢:數據資源化,將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合,行業定製化解決方案將涌現;數據將越來越開放,數據共享聯盟將出現;大數據安全越來越受重視,大數據安全市場將愈發重要;大數據促進智慧城市發展,為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。
趨勢一:數據資源化,將成為最有價值的資產
隨著大數據應用的發展,大數據價值得以充分的體現,大數據在企業和社會層面成為重要的戰略資源,數據成為新的戰略制高點,是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據,大影響》的報告宣傳,數據已經成為一種新的資產類別,就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功,並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產,成為提升機構和企業競爭力的有力武器。
趨勢二:大數據在更多的傳統行業的企業管理落地
一種新的技術往往在少數行業應用取得了好的效果,對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用,其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此,我們有理由相信,大數據作為一種從數據中創造新價值的工具,將會在許多行業的企業得到應用,帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求,更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學,相信大數據在科學管理企業方面有更顯著的促進,讓更多擁抱大數據的企業實現智慧企業管理。
趨勢三:大數據和傳統商業智能融合,行業定製化解決方案將涌現
來自傳統商業智能領域者將大數據當成一個新增的數據源,而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案,即不僅要能收集、處理和分析企業內部的業務數據,還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外,還希望能結合移動設備的位置信息,這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟,無論是大數據還是商業智能,目的都是為分析服務的,數據全面整合起來,更有利於發現新的商業機會,這就是大數據商業智能。同時,由於行業的差異性,很難研發出一套適用於各行業的大數據商業智能分析系統,因此,在一些規模較大的行業市場,大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。
趨勢四:數據將越來越開放,數據共享聯盟將出現
大數據越關聯越有價值,越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到,美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網,在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作,數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年,貴州省也加入數據開放之列,10月份雲上貴州正式上線。對於不同的行業,數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息,那麼就需要全國,甚至全世界的醫療信息共享,從而可以通過平台進行分析,獲取更大的價值。我們相信數據會呈現一種共享的趨勢,不同領域的數據聯盟將出現。
趨勢五:大數據安全越來越受重視,大數據安全市場將愈發重要
隨著數據的價值的越來越重要,大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息,也有更多的騙術和犯罪手段出現,所以,在大數據時代,無論對於數據本身的保護,還是對於由數據而演變的一些信息的安全,對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的,與傳統安全相比,大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析,並且找出針對大數據的業務的威脅,然後提出有針對性的解決方案。比如,對於數據存儲這個場景,目前很多企業採用開源軟體如Hadoop技術來解決大數據問題,由於其開源性,但是其安全問題也是突出的。因此,市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。
趨勢六:大數據促進智慧城市發展,為智慧城市的引擎
隨著大數據的發展,大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力,需要城市能夠更合理地進行資源布局和調配,而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力,通過物聯網、移動互聯網、雲計算等新一代信息技術,實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念,最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化,關鍵是要實現對數字信息的智慧處理,其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等,都是以大數據為基礎的的智慧城市應用領域。
趨勢七:大數據將催生一批新的工作崗位和相應的專業
一個新行業的出現,必將在工作職位方面有新的需求,大數據的出現也將推出一批新的就業崗位,例如,大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源,數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求,高校也將逐步開設大數據相關的專業,以培養相應的專業人才。企業也將和高校緊密合作,協助高校聯合培養大數據人才。如2014年,IBM 全面推進與高校在大數據領域的合作,引入強大的研發團隊和業務夥伴,推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養,建設符合中國教學特色及人才需求的大數據相關學分課程,為未來建設特色專業方向做准備。
趨勢八:大數據在多方位改善我們的生活
大數據不僅用於企業和政府,也應用於我們的生活。在健康方面:我們可以利用智能手環監測,對我們的睡眠模式來進行追蹤,了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況,讓遠在他方的外出工作者更加放心;在出行方面:我們可以利用智能導航出行GPS數據了解交通狀況,並根據擁堵情況進行路線實時調優。在居家生活方面:大數據將成為智能家居的核心,智能家電實現了擬人智能,產品通過感測器和控制晶元來捕捉和處理信息,可以根據住宅空間環境和用戶需求自動設置控制,甚至提出優化生活質量的建議,如我們的冰箱可能會在每天一大早建議我們當天的菜譜
⑻ 院士專家談 - 時空大數據:地理信息產業融合發展必由之路
作 者 :中國工程院院士 王家耀
地理信息產業是以現代測繪和地理信息系統、遙感、衛星導航定位等技術為基礎,以地理信息資源開發利用為核心,從事地理信息獲取、處理、應用的高技術服務業。自20世紀60年代地理信息系統提出以來,其應用逐漸拓展到多個行業,從產生、成長到壯大,地理信息產業發展取得了可喜成績。
當前,我國的經濟和 社會 發展已經進入新的 歷史 階段, 社會 主要矛盾已經轉化為人民日益增長的美好生活需要和不平衡不充分的發展之間的矛盾;以5G、雲計算、大數據、邊緣計算、物聯網等為代表的新技術快速發展,人工智慧技術也因深層神經網路的成功而獲得了巨大進步;隨著我國行政體制改革和自然資源管理體系的建立,地理信息產業已融入自然資源管理體系中。面對新的 社會 需求、新的技術進步和新的管理體系要求,亟待根據國家大政方針、 社會 生產需要、技術發展趨勢、產業發展規律,做好地理信息產業的工程技術、商業模式、產品類型的轉型升級與融合創新,進一步提高地理信息產業發展的質量和水平。
地理信息產業融合發展的驅動力——人工智慧
信息化的發展遵循從數字化到網路化再到智能化的規律,地理信息產業的發展亦如此,智能化是地理信息產業融合發展的高級階段。
「互聯網 」改變了地理信息產業發展的思維方式。「互聯網 」的本質是跨界融合。「基礎地理信息 」和「通用時空大數據平台 」的本質也是跨界融合。「 」是核心,提出跨界融合的解決方案是關鍵。只有這樣,才能更充分地發揮基礎地理信息和通用時空大數據平台的「基礎」和「通用」作用,實現地理信息產業到時空大數據產業的轉型升級。
雲計算具有的信息資源管理、處理和應用的「全面彈性」,可以支撐「地理信息產業」到「時空大數據產業」的轉型。時空大數據產業化需要超強計算能力的支持。雲計算作為一種新的計算模式,通過「池化」和「雲化」把數千台甚至上萬台機器都放在一個「池子」裡面,這是「資源彈性」;並在「資源彈性」即基礎設施即服務(IaaS)之上增加了一層「應用彈性」,包括平台即服務(PaaS)和軟體即服務(SaaS),以滿足時空大數據的「應用彈性」需求。雲計算支撐時空大數據處理的分布式、協作(同)化和智能化;通過任務分解,解決分布式問題;通過工作流重構,解決並行問題;通過演算法調度,解決協作(同)化問題。
時空大數據產業
——屬於第四產業的范疇
時空大數據,指基於統一時空基準活動或存在於時間和空間與位置直接或間接相關聯的大數據。據此,時空大數據由時空框架數據和時空變化數據兩大類數據組成。
時空框架數據指基於統一時空基準的衛星導航定位數據(含連續運行參考站 CORS數據)、遙感影像數據、地圖數據、地名數據等。時空變化數據包括 社會 經濟人文數據、位置軌跡數據、與位置相關聯的空間媒體數據、社交網路數據、搜索引擎數據、視頻觀測數據、生態環境監測數據等。時空變化數據聚合(關聯)在時空框架數據上,就構成了時空大數據。時空大數據具有位置、屬性、時間、尺度、解析度、多樣性、異構性、多維性、價值隱含性、快速性等特性。時空大數據產業,指以天空地海感測器網路為基礎,以時空信息「獲取(感測網) 處理(生產) 應用(服務)」為產業鏈,以人工智慧等新興信息技術為支撐,以數據密集型計算為特徵的知識密集型信息產業,屬於從第三產業中分離出來的第四產業的范疇。同地理信息產業相比較,時空大數據產業內涵要寬泛得多,規模要大得多,類型更具多維性和多樣性,知識更密集,速度更快,產品更加多樣化和個性化,其應用領域更加廣闊,具有良好的產業發展前景。
時空大數據產業化的核心
——時空大數據平台
時空大數據平台是時空大數據產業化的核心。
它是指把各種分散的和分割的大數據即時空框架數據和時空變化數據匯聚到一個特定的平台上,並使之發生持續的聚合效應。這種聚合效應就是通過數據多維融合和關聯分析與數據挖掘,揭示事物的本質規律,對事物做出更加快捷、更加全面、更加精準和更加有效的研判和預測。從這個意義上講,時空大數據平台是大數據的核心價值,是大數據發展的高級形態,是大數據時代的解決方案。從產業化的角度講,通用時空大數據平台是指將時空框架數據匯聚在一個特定平台上,利用這個平台生產軍民兩用的基礎測繪地理信息產品。
所謂「通用時空大數據平台+」模式,即以通用時空大數據平台作為框架,聚合民用、軍用的時空變化數據,分別構成時空大數據平台。「通用時空大數據平台+民用」模式,即將地方政府各部門各行業的政務、自然資源、規劃、交通、水利、管網、人口、經濟、人文、 社會 、醫療、教育、電力、公安等數據匯聚在通用時空大數據平台上,使之成為新型智慧城市的「智腦」,通過持續的聚合效應,生成各類(種)民用深加工知識產品,為政府綜合決策、各部門各行業和 社會 公眾提供智能化服務。
時空大數據產業化是通過時空大數據平台產業化實現的。因為時空大數據產業化是一個新問題,應該走一條從基礎研究起步的產業化創新之路。這條創新之路首先要研究和建立以數據科學為核心的時空大數據理論體系。目前,「數據科學」的邊界還不清晰,時空大數據理論研究薄弱,更未形成時空大數據的理論體系,而這是時空大數據產業化的基礎。因此,這條創新之路要研究和建立以「數據隱含價值 計算發現價值 應用實現價值」為核心,以「數據獲取(感測器網) 處理(生產) 應用(服務)」為產業鏈的時空大數據產業化技術體系。走在這條創新之路上的人,更要研究和設計包括軟體產品、硬體產品、軟硬體集成產品、各類(種)應用平台產品和數字產品在內的時空大數據產品體系。
總之,在當前全球數字經濟快速發展的大背景下,數字化的知識和信息作為關鍵生產要素,以數字技術為核心驅動力量,以現代信息網路為重要載體,通過數字技術與實體經濟深度融合,數字經濟能夠不斷提高經濟 社會 的數字化、網路化、智能化水平,以加速重構經濟發展與 社會 治理模式。地理信息產業作為處理位置數據的核心產業,可以積極推動其基於「通用時空大數據平台+」模式深度融入數字產業化、產業數字化、數字化治理與數據價值化領域,積極融入自然資源管理工作整體布局,主動引領以地理信息為基礎的新型智慧城市、實景三維中國、新型基礎測繪建設,推進地理信息產業向全產業鏈發展,擴大地理信息產品供給面,加大地理信息消費級產品研發,鼓勵新應用、培育新市場,讓地理信息產品通過生態建設、智慧管理、數字經濟服務國家戰略建設並惠及全 社會 ,從而促使地理信息產業向時空大數據產業的融合發展與轉型升級。