Ⅰ 大數據的挑戰和局限
大數據的挑戰和局限
每個人都知道互聯網改變了企業經營、政府運作以及人們生活的方式。但是一種新的、不那麼明顯的技術趨勢卻有著同樣巨大的變革能力,那就是「大數據」。大數據的趨勢發端於下面這個事實:如今到處傳播的信息比以往任何時候都多出了許多,而且這一趨勢正在應用於非同尋常的新用途。大數據與互聯網截然不同,雖然互聯網使數據的收集和共享方便了很多。大數據的意義並不僅僅是通信:其本質是我們可以從大量的信息中學習到從較少量的信息中無法獲取的東西。
將改變人類思考方式
早在公元前3世紀,亞歷山大圖書館被認為收藏了全部的人類知識。而如果把當今全世界的信息平分給每一個活著的人,那麼每個人擁有的信息量將足足超過當年亞歷山大圖書館全部藏書的320倍。如果把所有這些信息刻到光碟上並且分五摞疊起來的話,那麼這些光碟可以一直堆到月球。
這種數據爆炸是相對新鮮的現象。僅僅在2000年的時候,全世界全部的存儲信息中還只有四分之一是數字化的,其餘的都保存在紙張、膠片和其他模擬介質上。但是由於數字數據數量的增長十分迅速——幾乎每三年就翻一番,這種情形很快發生了逆轉。如今,在所有存儲信息中只有不到2%是非數字化的。
鑒於如此懸殊的比例,人們免不了在理解大數據的時候僅僅從數量上進行考慮。然而這將會產生誤導。大數據的另一個特徵是它能夠用數據來表現世界的眾多層面,而這些層面以往從來都沒有被量化過——這種特徵可以被稱為「數據化」。例如,位置信息的數據化最早是由於經緯度的發明,而最近又有了GPS。當計算機對幾個世紀內的書籍進行取樣時,文字便成了被處理的數據。甚至連友誼和愛好也被數據化了——例如通過Facebook。
藉助於廉價的電腦內存、高性能處理器、智能演算法、聰明軟體以及從基本統計學中借鑒來的數學知識,這樣的一類數據正在被應用於難以置信的新用途中。這種新方法並不是試圖「教會」計算機去從事駕駛或翻譯這樣的事情,而是要向計算機輸入足夠多的信息,從而使它們能夠推斷概率,例如交通指示綠燈亮、紅燈不亮的概率,或者是在特定語境下「light」一詞意為「光」而不是「輕」的概率。
以這種方式對大量數據加以利用,要求人們在三個方面徹底改變對數據的態度。第一是收集和使用大量數據,而不是像統計學家們在過去100多年裡所做的那樣,只滿足於少量的數據或樣本。第二是拋棄人們對有條理和純凈的數據的偏愛,轉而接受雜亂無章——在越來越多的情形下,少許的不精確是可以容忍的。第三,在許多場合,人們需要放棄對事情原委的追究,而代之以對相關性的接納。利用大數據,而不是試圖弄懂發動機拋錨或葯物副作用消失的確切原因,研究人員可以收集和分析大量有關此類事件的信息及一切相關素材,找出可能有助於預測未來事件發生的規律。大數據有助於回答是什麼、而不是為什麼的問題——通常有這樣的回答就足夠了。
互聯網重塑了人類交流的方式。大數據則不同:它標志著社會處理信息方式的變化。隨著時間的推移,大數據可能會改變人們思考世界的方式。隨著人們利用越來越多的數據來理解事情和作出決定,人們很可能會發現生活的許多層面是隨機的、而不是確定的。
從因果關繫到相關性
人們看待數據的方式的兩個變化——從局部變為全部以及從純凈變為凌亂——催生了第三個變化:從因果關繫到相關性。這代表著告別總是試圖了解世界運轉方式背後深層原因的態度,而走向僅僅需要弄清現象之間的聯系以及利用這些信息來解決問題。
加拿大的研究人員正在開發一種大數據手段,以便能在明顯症狀出現之前發現早產嬰兒體內的感染。通過把包括心率、血壓、呼吸和血氧水平等16種生命體征轉化成每秒1000多個數據點的信息流,他們已經能夠找到極其輕微的變化與較為嚴重的問題之間的相關性。最終,這項技術將使醫生能夠提前採取行動,從而拯救生命。
大數據所產生的影響將遠遠超出醫學和消費品的范疇:它將深遠地改變政府的運作方式和政治的性質。在推動經濟增長、提供公共服務或進行戰爭等方面,那些能夠有效利用大數據的人將擁有勝過別人的巨大優勢。迄今為止,最令人興奮的成果出現在市級,在這個級別上獲取數據和利用這些信息進行實驗要容易一些。紐約市長邁克爾·布隆伯格(他本人就是靠著數據行業發家的)率先進行了一項努力:該市正在利用大數據改善公共服務和降低成本。其中一個例子就是新的火災預防策略。
非法在屋內打隔斷的建築物著火的可能性比其他建築物高很多。紐約市每年接到2.5萬宗有關房屋住得過於擁擠的投訴,但市裡只有200名處理投訴的巡視員。市長辦公室一個分析專家小組覺得大數據可以幫助解決這一需求與資源的落差。該小組建立了一個市內全部90萬座建築物的資料庫,並在其中加入市裡19個部門所收集到的數據:欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴,諸如此類。接下來,他們將這一資料庫與過去5年中按嚴重程度排列的建築物著火記錄進行比較,希望找出相關性。果然,建築物類型和建造年份是與火災相關的因素。不過,一個沒怎麼預料到的結果是,獲得外磚牆施工許可的建築物與較低的嚴重火災發生率之間存在相關性。
利用所有這些數據,該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統。他們所記錄的建築物的各種特徵數據都不是導致火災的原因,但這些數據與火災隱患的增加或降低存在相關性。這種知識被證明是極具價值的:過去房屋巡視員出現場時簽發房屋騰空令的比例只有13%,在採用新辦法之後,這個比例上升到了70%——效率大大提高了。
大數據的挑戰和局限
大數據也正在幫助提高民主政府的透明度。一個建立在「開放數據」概念上的運動已經形成,其訴求超出了目前在發達民主國家已經十分常見的信息自由法。這一運動的支持者呼籲政府把手上浩如煙海的普通數據向公眾開放。
與此同時,在政府推動使用大數據的同時,它們還需要保護公眾免受不正當市場壟斷的侵害。管理大數據的法規甚至可能成為國家間的角斗場。出於對反托拉斯和保護隱私的關切,歐洲各國政府已經在嚴查谷歌公司。臉譜網可能會成為世界各地類似行動的打擊目標,因為它持有太多的個人數據。外交官們應該准備好圍繞是否像對待自由貿易那樣對待信息流動展開交鋒。
大數據勢必將改變人們生活、工作和思考的方式。建立在強調因果關系基礎上的世界觀正在受到推崇相關性的挑戰。知識的佔有曾經意味著對歷史的了解,而現在卻意味著預言未來的能力。解決大數據所帶來的挑戰將不是易事。
在決策越來越多地受到數據支配的世界裡,人、直覺或是不顧事實的蠻干還有什麼用武之地呢?如果每個人都求助於數據,都利用大數據工具的話,那麼不可預測性——例如人類的本能、冒險、意外甚至失誤——也許將會成為差異的關鍵。如果真是這樣的話,那麼需要專門為人為因素辟出一席之地——即為直覺、常識、運氣留出空間,以確保它們不會被數據和機器生成的答案擠走。
這將對社會進步的觀念產生重要影響。大數據使我們可以更快地進行實驗,對更多的線索展開探索。這些優勢應該會導致更多創新的產生。但在有些時候,發明的火花迸發是數據所無法表現的。倘若亨利·福特當初求助於大數據演算法系統來研究顧客希望得到的東西,演算法系統得到的答案會是「更快的馬匹」,也就不會有福特著名的汽車生產線了。在大數據的世界裡,需要培養的恰恰是與人類關系最密切的特性——創造力、直覺和上進心,因為人的聰明才智才是進步的源泉。
大數據是一種資源和一種工具。它的目的是告知,而不是解釋;它意在促進理解,但仍然會導致誤解——關鍵在於人們對它的掌握程度。人們必須以一種不僅欣賞其力量,而且承認其局限的態度來接納這種技術。
Ⅱ 淺談基於大數據時代的機遇與挑戰論文
淺談基於大數據時代的機遇與挑戰論文推薦
在學習和工作中,大家總少不了接觸論文吧,論文的類型很多,包括學年論文、畢業論文、學位論文、科技論文、成果論文等。為了讓您在寫論文時更加簡單方便,以下是我精心整理的淺談基於大數據時代的機遇與挑戰論文,僅供參考,希望能夠幫助到大家。
淺談基於大數據時代的機遇與挑戰論文
1、大數據的基本概況
大數據(Big Data)是指那些超過傳統資料庫系統處理能力的數據,其具有以下四個基本特性,即海量性、多樣性、易變性、高速性。同時數據類型繁多、數據價值密度相對較低、處理速度快、時效性要求高等也是其主要特徵。
2、大數據的時代影響
大數據,對經濟、政治、文化等方面都具有較為深遠的影響,其可幫助人們進行量化管理,更具科學性和針對性,得數據者得天下。大數據對於時代的影響主要包括以下幾個方面:
(1)「大數據決策」更加科學有效。如果人們以大數據分析作為基礎進行決策,可全面獲取相關決策信息,讓數據主導決策,這種方法必將促進決策方式的創新和改變,徹底改變傳統的決策方式,提高決策的科學性,並推動信息管理准則的重新定位。2009 年爆發的甲型H1N1 流感就是利用大數據的一個成功範例,谷歌公司通過分析網上搜索的大量記錄,判斷流感的傳播源地,公共衛生機構官員通過這些有價值的數據信息採取了有針對性的行動決策。
(2)「大數據應用」促進行業融合。雖然大數據源於通信產業,但其影響絕不局限於通信產業,勢必也將對其他產生較為深遠的影響。目前,大數據正逐漸廣泛應用於各個行業和領域,越來越多的企業開始以數據分析為輔助手段加強公司的日常管理和運營管理,如麥當勞、肯德基、蘋果公司等旗艦專賣店的位置都是基於大數據分析完成選址的,另外數據分析技術在零售業也應用越來越廣泛。
(3)「大數據開發」推動技術變革。大數據的應用需求,是大數據新技術開發的源泉。相信隨著時代的不斷發展,計算機系統的數據分析和數據挖掘功能將逐漸取代以往單純依靠人們自身判斷力的領域應用。藉助這些創新型的大數據應用,數據的能量將會層層被放大。
另外,需要注意的是,大數據在個人隱私的方面,容易造成一些隱私泄漏。我們需要認真嚴肅的對待這個問題,綜合運用法律、宣傳、道德等手段,為保護個人隱私,做出更積極的努力。
3、大數據的應對策略
3.1 布局關鍵技術研發創新。
目前而言,大數據的技術門檻較高,在這一領域有競爭力的多為一些在數據存儲和分析等方面有優勢的信息技術企業。為促進產業升級,我們必須加強研究,重視研發和應用數據分析關鍵技術和新興技術,具體可從以下幾個方面入手:第一,夯實發展基礎,以大數據核心技術為著手點,加強人工智慧、機器學習、商業智能等領域的理論研究和技術研發,為大數據的應用奠定理論基礎。二是加快基礎技術(非結構化數據處理技術、可視化技術、非關系型資料庫管理技術等)的研發,並使其與物聯網、移動互聯網、雲計算等技術有機融合,為解決方案的制定打下堅實基礎。三是基於大數據應用,著重對知識計算( 搜索) 技術、知識庫技術、網頁搜索技術等核心技術進行研發,加強單項技術產品研發,並保證質量的提升,同時促使其與數據處理技術的有機結合,建立科學技術體系。
3.2 提高軟體產品發展水平。
一是促進以企業為主導的產學研合作,提高軟體發展水平。二是運用雲計算技術促進信息技術服務業的轉型和發展,促進中文知識庫、資料庫與規則庫的建設。三是採取鼓勵政策引導軟硬體企業和服務企業應用新型技術開展數據信息服務,提供具有行業特色的系統集成解決方案。四是以大型互聯網公司牽頭,並聚集中小互聯網信息服務提供商,對優勢資源進行系統整合,開拓與整合本土化信息服務。五是以數據處理軟體商牽頭,這些軟體商必須具備一定的基礎優勢,其可充分發揮各自的數據優勢和技術優勢,優勢互補,提高數據軟體開發水平,提高服務內容的精確性和科學性。同時提高大數據解決方案提供商的市場能力和集成水平,以保障其大數據為各行業領域提供較為成熟的解決方案。
3.3 加速推進大數據示範應用。
大數據時代,我們應積極推進大數據的示範應用,可從以下幾個方面進行實踐:第一,對於一些數據量大的領域(如金融、能源、流通、電信、醫療等領域),應引導行業廠商積極參與,大力發展數據監測和分析、橫向擴展存儲、商業決策等軟硬體一體化的行業應用解決方案。第二,將大數據逐漸應用於智慧城市建設及個人生活和服務領域,促進數字內容加工處理軟體等服務發展水平的提高。第三,促進行業資料庫(特別是高科技領域)的深度開發,建議針對不同的行業領域建立不同的專題資料庫,以提供相應的內容增值服務,形成有特色化的服務。第四,以重點領域或重點企業為突破口,對企業數據進行相應分析、整理和清洗,逐漸減少和去除重復數據和噪音數據。
3.4 優化完善大數據發展環境。
信息安全問題是大數據應用面臨的主要問題,因此,我們應加強對基於大數據的情報收集分析工作信息保密問題的研究,制定有效的防範對策,加強信息安全管理。同時,為優化完善大數據發展環境,應採取各種鼓勵政策(如將具備一定能力企業的數據加工處理業務列入營業稅優惠政策享受范圍)支持數據加工處理企業的發展,促使其提高數據分析處理服務的水平和質量。三是夯實大數據的應用基礎,完善相關體制機制,以政府為切入點,推動信息資源的集中共享。
做到上面的幾點,當大數據時代來臨的時候,面臨大量數據將不是束手無策,而是成竹在胸,而從數據中得到的好處也將促進國家和企業的快速發展。
大數據為經營的橫向跨界、產業的越界混融、生產與消費的合一提供了有利條件,大數據必將在社會經濟、政治、文化等方面對人們生活產生巨大的影響,同時大數據時代對人類的數據駕馭能力也提出了新的挑戰與機遇。面對新的挑戰與發展機遇,我們應積極應對,以掌握未來大數據發展主動權。
結構
論文一般由名稱、作者、摘要、關鍵詞、正文、參考文獻和附錄等部分組成,其中部分組成(例如附錄)可有可無。
1、論文題目
要求准確、簡練、醒目、新穎。
2、目錄
目錄是論文中主要段落的'簡表。(短篇論文不必列目錄)
3、內容提要
是文章主要內容的摘錄,要求短、精、完整。
4、關鍵詞定義
關鍵詞是從論文的題名、提要和正文中選取出來的,是對表述論文的中心內容有實質意義的詞彙。關鍵詞是用作計算機系統標引論文內容特徵的詞語,便於信息系統匯集,以供讀者檢索。每篇論文一般選取3-8個詞彙作為關鍵詞,另起一行,排在「提要」的左下方。
主題詞是經過規范化的詞,在確定主題詞時,要對論文進行主題分析,依照標引和組配規則轉換成主題詞表中的規范詞語。(參見《漢語主題詞表》和《世界漢語主題詞表》)。
5、論文正文
(1)引言:引言又稱前言、序言和導言,用在論文的開頭。引言一般要概括地寫出作者意圖,說明選題的目的和意義, 並指出論文寫作的范圍。引言要短小精悍、緊扣主題。
(2)論文正文:正文是論文的主體,正文應包括論點、論據、論證過程和結論。主體部分包括以下內容:
a.提出問題-論點;
b.分析問題-論據和論證;
c.解決問題-論證方法與步驟;
d.結論。
6、參考文獻
一篇論文的參考文獻是將論文在研究和寫作中可參考或引證的主要文獻資料,列於論文的末尾。參考文獻應另起一頁,標注方式按進行。
7、論文裝訂
論文的有關部分全部抄清完了,經過檢查,再沒有什麼問題,把它裝成冊,再加上封面。論文的封面要樸素大方,要寫出論文的題目、學校、科系、指導教師姓名、作者姓名、完成年月日。論文的題目的作者姓名一定要寫在表皮上,不要寫裡面的補頁上。
;Ⅲ 大數據時代創新創業的三個方向和四大挑戰
大數據時代創新創業的三個方向和四大挑戰
大數據時代創新創業的三個方向和四大挑戰【導語】從傳統互聯網的人機互聯,人人互聯,到工業互聯網的物物互聯,人機物三種端各自互聯,才帶來大數據的產生,利用雲進行大數據的存儲和計算,實現數據的融合和服務,數據從哪裡來,到哪裡去,數據如何關聯,如何找到市場需求實現價值是關鍵。數據採集加工的跑馬圈地已入中盤,數據分析與應用的商業模式才剛剛開盤,而這需要模式具備可持續性和可擴展性。如今時代變了,以前以企業為核心的理念轉向以消費者、以用戶為核心的理念,以前的設計在進行創意時以往主要靠拍腦袋決策,如今需要數據的支持和支撐來指導創意。基於大數據的創新創業面臨的挑戰,主要有四個方面:一是拿到可以利用的數據比較難,目前不少創業公司都是基於互聯網上公開的數據在進行應用開發。二是大數據應用可能威脅到企業中傳統的角色地位甚至生存,這就涉及到與傳統利益的沖突,因此大數據應用推廣需要一把手牽頭推動。第三個瓶頸是人力資源,不管美國還是中國大數據人才非常緊缺,包括數據科學家和數據分析師,這些人才需要高校和企業一起合作來進行培養。
第四關於投資的難度加大,需要有更多大數據商業應用成功的項目和例子來引領投資的方向。
大數據時代創新創業的三個方向和四大挑戰
——ADEC聯手浙大、五葉草大數空間舉辦「大數據時代的創新創業實踐與思考」研討會
在大眾創新、萬眾創業的熱潮中,基於大數據的創業創新備受關注。12月17日,阿里數據經濟研究中心(ADEC)、浙江大學管理學院、五葉草大數空間三者攜手合作,邀請20餘位浙大學者走入雲棲小鎮,在杭州這個創新創業的基地,聆聽大數據創業創新實踐者的感受,共同開展「大數據時代創業創新的實踐和思考」的相關話題研討。
三家大數據創新創業領域的企業數能科技、華院數據和洛可可公司的負責人給大家分享了他們的實踐方向、面臨挑戰以及心得體會。在分享結束後,就大家關注的話題分組討論的環節受到參會企業以及研究者們的歡迎。
三個方向和四大挑戰
浙江大學管理學院教授劉淵老師在分享中提到,從傳統互聯網的人機互聯,人人互聯,到工業互聯網的物物互聯,人機物三種端各自互聯,才帶來大數據的產生,利用雲進行大數據的存儲和計算,實現數據的融合和服務,數據從哪裡來,到哪裡去,數據如何關聯,如何找到市場需求實現價值是關鍵。
圖為浙江大學管理學院教授劉淵
以浙江大學郭斌老師為組長的小組認為大數據創新創業的商業模式有三個方向(Analytics , Data, Services ,ADS)值得關注,其中A相當於為企業提供數據的計算分析能力;第二類D是提供數據為主,要做有效的決策背後所使用的數據可能來源於多個數據源,可以集聚數據成為運營的資源;第三類S相當於提供基於數據的服務,這種服務要嵌入到企業運營的業務流程。
以鄭剛老師為代表的小組總結了基於大數據的創新創業面臨的挑戰,主要有以下四個方面:一是拿到可以利用的數據比較難,目前不少創業公司都是基於互聯網上公開的數據在進行應用開發,二是大數據應用可能威脅到企業中傳統的角色地位甚至生存,這就涉及到與傳統利益的沖突,因此大數據應用推廣需要一把手牽頭推動;第三個瓶頸是人力資源,不管美國還是中國大數據人才非常緊缺,包括數據科學家和數據分析師,這些人才需要高校和企業一起合作來進行培養;第四關於投資的難度加大,需要有更多大數據商業應用成功的項目和例子來引領投資的方向。
大數據創新創業的三個實踐
數能科技:數據分析老兵的創業之路
數能科技的總經理張曉明先生在國外有20多年的數據分析的經驗,他在分享中談到,美國的大數據指的是用常規方法無法處理的數據,比如音頻、視頻等數據,而中國的大數據實際上是大數據+小數據,以電影行業為例,通常都是數據採集後轉化為小數據來進行統計分析和數據挖掘。
圖為數能科技的總經理張曉明
張總認為,中國發展大數據面臨三大挑戰:一是數據孤島現象嚴重,二是行業知識缺乏,在業務、技術和行政人員三方面溝通比較困難,跨學科的溝通以前比較缺乏,使得整個行業發展在應用層面的發展不快,三是過去中國的發展是粗曠式的,哪有機會往哪跑,現在是精細化管理,進行資源的優化配置,而政府官員對這種需求的優先順序不高。
在大數據的商業模式方面,張總認為,數據採集加工的跑馬圈地已入中盤,數據分析與應用的商業模式才剛剛開盤,而這需要模式具備可持續性和可擴展性,其中人才也是發展的一個瓶頸,尤其欠缺具備硬實力和軟實力的數據分析師,尤其是軟實力方面對於理工科學生來說更難,軟實力主要指的是溝通、好奇心和業務理解力。
數能科技開發的「電影票房預測」應用和「電影排片寶」應用都是典型的基於數據的新應用,電影票房預測每天早晨9點半會發布當天的票房預測結果,希望成為全國以及各個城市電影票房的預測風向標,為發行人進行精準營銷提供依據,「電影排片寶」應用通過收集來自媒體、影院的歷史數據、網上售票的預售數據等信息為各大影院排片提供建議。這種應用場景還可以衍生到客流預測與資源優化管理,比如在旅遊景點、大型超市等。
華院數據:數據分析人才基地的孵化新模式
國內專業的數據分析挖掘人才有很多都來自於華院數據,來自華院數據的執行總裁麥星在分享「華院數據——產業大數據生態的深度孵化器」的主題時談到,華院數據目前聚焦是以大數據行業解決方案為核心,基於自己多年的技術積累,提供數據互聯、人工智慧引擎等核心能力和產品,融入於垂直行業,在各行業孵化出獨立、專注、聚焦的大數據子公司。
圖為華院數據的執行總裁麥星
目前已經孵化了數雲、數創、數尊、華院分析等多家大數據+電商、零售、O2O、運營商的創業公司,這些創業公司形成產業大數據的生態,比如數雲科技是電商數據應用的創業公司,為阿里巴巴平台上的商家提供CRM解決方案,連續三年都是金牌淘拍檔。
洛可可:傳統工業設計公司的大數據創新轉向消費者為中心
洛可可作為一家工業設計公司,它所推出的一款55度杯子一上市就備受歡迎,杭州分公司負責人夏治朋在分享時提到,如今時代變了,以前以企業為核心的理念轉向以消費者、以用戶為核心的理念,以前的設計在進行創意時以往主要靠拍腦袋決策,如今需要數據的支持和支撐來指導創意,而且數據不僅是B端的需求,更重要的需要最終消費者的需求,讓創意和設計更加精準。
圖為洛可可杭州分公司總經理夏治朋
以前的產品只有功能,現在的產品還要有服務、有情感,產品具備智能的基礎需要有大數據,現在的產品大都是軟硬體結合的,同時還有app,從而了解用戶的行為和習慣,通過App端數據的抓取來獲知用戶的行為和習慣,從而改變創意和設計,使得用戶感知到產品是為之定製的。
大數據的創新創業剛剛開始
在信息經濟發展迅猛的今天,隨著數據扮演生產要素的角色,雲計算發揮公共計算基礎設施的作用,數據的開放、共享與流動成為可能,數據的融合激發新的生產力。與以往任何一個時代相比,大數據時代的創業創新將擁有更多的機會、更大的空間。雖然現階段我國數據相關的法規政策尚不完善,基於數據的創業創新實踐尚在探索階段,業務和服務模式還不成熟,不確定性正意味著更多機會,因此我國不斷涌現出企業進行基於大數據的新模式的嘗試和探索。阿里數據經濟研究中心(ADEC)期待與更多學界研究者進行深入合作,共同推動中國數據經濟的良性快速發展。
Ⅳ 互聯網大數據對我們職業生涯有什麼機遇和挑戰嗎
這個大數據對我們的職業生涯機遇大於挑戰,是非常有指導意義的
Ⅳ 我國大數據戰略實施面臨的五大挑戰
我國大數據戰略實施面臨的五大挑戰
一、我國實施國家大數據戰略的新成效
近幾年,在國家政策支持下,我國大數據戰略取得多方面成效:
一是產業集聚效應初步顯現。國家八個大數據綜合實驗區建設促進了具有地方特色產業集聚。京津冀和珠三角跨區綜合試驗區,注重數據要素流通;上海、重慶、河南和沈陽試驗區,注重數據資源統籌和產業集聚;內蒙的基礎設施統籌發展,充分發揮能源、氣候等條件,加快實現大數據跨越發展。
二是新業態新模式不斷涌現。我國在大數據應用方面位於世界前列,特別是在服務業領域,如基於大數據的互聯網金融及精準營銷迅速普及;在智慧物流交通領域,通過為貨主、乘客與司機提供實時數據匹配,提升了物流交通效率。
三是與傳統產業融合步伐加快。鐵路、電力和製造業等加快了運用信息技術和大數據的步伐。高鐵推出「高鐵線上訂餐」等服務,提升了乘客體驗。電力企業推廣智能電表,提高了企業利潤。三一重工、航天科工、海爾等一批企業將自身積累的智能製造能力,向廣大中小企業輸出解決方案,著手建設工業互聯網平台。
四是技術創新取得顯著進展。互聯網龍頭企業伺服器單集群規模達到上萬台,具備了建設和運維超大規模大數據平台的技術實力,並以雲服務向外界開放自身技術服務能力和資源。在深度學習、人工智慧、語音識別等前沿領域,我國企業積極布局,搶占技術制高點。
五是產業規模快速增長。2016年我國包括大數據核心軟硬體產品和大數據服務在內的市場規模達到3100億元。預計2017年有望達到4185億元。未來2-3年市場規模的增長率將保持在35%左右。未來5年,年均增長率將超過50%。
六是一批企業快速成長。主要分為三類:一類是已經有獲取大數據能力、具有一定國際影響力的公司,如網路、騰訊、阿里巴巴等互聯網巨頭;二是以華為、浪潮、中興、曙光、用友等為代表的電子信息通信廠商;三是以億贊普、拓爾思、九次方等為代表的大數據服務新興企業。
七是法治法規建設全面推進。先後制定和出台《全國人大常委會關於加強網路信息保護的決定》《全國人大常委會關於加強網路信息保護的決定》《電信和互聯網用戶個人信息保護規定》《電話用戶真實身份信息登記規定(部令第25號)》《中華人民共和國網路安全法》等文件,保障用戶隱私和合法權益。
二、我國實施國家大數據戰略面臨的挑戰
一是數據權屬不清晰,數據流通和利用混亂。大數據帶來了復雜的權責關系,產生數據的個人、企業、非政府組織和政府機構,擁有數據存取實際管理權的雲服務提供商和擁有數據法律和行政管轄權的政府機構,在大數據問題上的法律權責不明確,數據產權承認和保護存在盲點,阻礙了數據有效流通。
二是數據爆炸式增長與數據有效利用矛盾突出。當前面臨的問題不是數據缺乏,而是數據快速增長與數據有效存儲和利用之間矛盾日益突出。數據呈爆炸式增長,每兩年數據量翻10倍,而摩爾定律已接近極限,硬體性能提升難以應對海量數據增長。
三是企業與政府數據雙向共享機制缺乏。目前,我國政府、少數互聯網企業和行業龍頭企業掌握了大部分數據資源,但數據歸屬處於模糊狀態,法律規定不明確,政府與企業數據資源雙向共享不夠。
四是發展一哄而上,存在過度競爭傾向。截止2017年1月,全國37個省、市出台大數據發展規劃,90%提出要統籌建設政府和行業數據中心,有12個省市提出建設面向全國的大數據產業中心,有14省(市)合計產值目標過2.8萬億元,遠遠超過工信部提出到2020年1萬億元大數據產值發展目標。
五是安全問題日益凸顯。截至2017年7月,全國共偵破侵犯公民個人信息案件和黑客攻擊破壞案件1800餘起,抓獲犯罪嫌疑人4800餘名,查獲竊取的各類公民個人信息500多億條。烏克蘭電力系統和伊朗核設施遭遇網路攻擊,也給我國電力、石油、化工、鐵路等重要信息系統安全敲響了警鍾。
三、 更好實施我國國家大數據戰略政策建議
按照十九大精神,要著力推動大數據與實體經濟深度融合,建設數字中國和智慧社會,實現網路強國的目標,需要從政府、企業、社會組織和個人等統籌推動國家大數據戰略落實。
(一)完善機制與制度,更好發揮政府作用。在體制機制方面,建議設立由國務院領導擔任組長的國家大數據戰略領導小組,負責組織領導、統籌協調全國大數據發展。領導小組下設辦公室和大數據專家咨詢委員會。
在法規建設方面,加快制定《大數據管理條例》,鼓勵行業組織制定和發布《大數據挖掘公約》和《大數據職業操守公約》,在條件成熟時啟動《數據法》立法,明確數據權屬,培育大數據市場,加快數據作為生產要素規范流通。
在產業政策方面,出台數字經濟優惠政策,創新數字經濟監管模式,加強重點人群大數據應用能力培訓,創造更多就業。
在試點示範方面,在環境治理、食品安全、市場監管、健康醫療、社保就業、教育文化、交通旅遊、工業製造等領域開展大數據試點應用,以點帶面提升大數據應用能力。
在資源共享方面,按照「邏輯統一、物理分散」原則,通過建設國家一體化大數據中心和國家互聯網大數據平台,探索政府與企業數據資源雙向共享機制。
在發展環境方面,著力部署下一代新基礎設施,加快我國信息基礎設施優化升級,制定政府大數據開發與利用的「負面清單」「權力清單」和「責任清單」,建立統計和評估指標體系,營造良好的輿論環境,防止炒作大數據概念,引導全國大數據健康有序發展。
在數據安全方面,加快落實《中華人民共和國網路安全法》,建立國家關鍵基礎設施信息安全保護制度,明確監管機構的關鍵基礎設施行業主管部門的信息安全監督管理職責,加快推動國產軟硬體的應用推廣,提升安全可控水平。
(二)對企業分類施策,發揮市場資源配置決定性作用。一是發揮互聯網龍頭企業引領和帶動作用。網路、騰訊、阿里、京東為代表的龍頭企業技術和人才儲備雄厚,具有強大的數據資源收集、存儲、計算和分析能力,成為我國大數據技術進步的主要推動力。應像使用電、水、交通等傳統基礎設施一樣,互聯網龍頭企業向各行業提供高性能和低成本的大數據服務,幫助傳統企業提升效率,提升核心競爭力。
二是發揮重要行業龍頭企業數據和用戶優勢。我國電力、交通、金融等諸多行業龍頭集聚了海量用戶和數據,是未來我國大數據戰略實施的主戰場和大數據價值真正「鑽石礦」。應發揮鐵路、電力、金融等重要行業龍頭企業優勢,通過與互聯網龍頭企業深度合作,利用其技術優勢,深度挖掘數據資源,提升自身核心競爭力,並幫助中小企業發展。
三是發揮通信運營商生力軍作用,為大數據發展提供基礎性戰略性資源。我國移動、電信、聯通等擁有全球最多的電話用戶,積累了海量數據,是我國信息社會的戰略性資源。應充分發揮自身在網路方面的優勢,推動移動互聯網、雲計算、大數據、物聯網等與行業結合,助力智慧城市、交通、能源、教育、醫療、製造、旅遊等行業的創新和發展。
(三)激發社會組織活力,構建新型協作關系。構建政府和社會組織互動的信息採集、共享和應用協作機制,提高社會組織大數據應用意識和能力,與具有大數據技術的企業合作,提高社會事業精準化水平和資金使用效率。針對發展需要、重視科技引領,整合廣大科研機構和事業單位力量,加強大數據基礎理論、方法和技術研究,推動關鍵技術突破。
(四)提升公民數據意識和能力,推動「數字公民」建設。通過給每位公民一個數字身份,方便公民獲取個性化、智慧化精準服務,提高政府公共服務的精準度與實效性,推動社會治理向精細化、智慧化轉變。要提高公民數據素養,增強公民數據權利意識,提高大數據應用能力。
Ⅵ 大數據帶來的挑戰有哪些 會導致數據盲點 危及個人隱私
隨著移動互聯網、物聯網等新技術的迅速發展,人類進入數據時代。大數據帶來的信息風暴正深刻改變我們的生活、工作和思維方式,對網路輿情管理也帶來深刻影響。 一、大數據時代網路輿情管理面臨的新形勢大數據意味著人類可以分析和使用的數據大量增加,有效管理和駕馭海量數據的難度不斷增長,網路輿情管理面臨全新的機遇和挑戰。 互聯網是個神奇的大網,大數據開發和軟體定製也是一種模式,這里提供最詳細的報價,如果真的想做,可以來這里,這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零,按照順序組合起來就可以找到,想說的是,除非想做或者了解這方面的內容,如果只是湊熱鬧的話,就不要來了。1.大數據帶來網路輿情管理新挑戰。一是海量數據的挑戰。海量的網上信息難以掌控,大量相關性、偶發性因素使輿情更加復雜多變,傳統的輿情監測研判手段和方法難以奏效,新的技術手段和方法要求更高。二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾,加劇了社會輿論的「盲人摸象」效應。社會化媒體促進信息的開放和溝通的便捷,分眾傳播、個性化傳播凸顯,使偏激的觀點更容易找到「同類」,從而相互支持、強化放大,加劇輿論偏激情緒。三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得,越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走,有效管理輿情的難度越來越大。2.大數據帶來網路輿情治理新機遇。一是拓展網路輿情治理領域。在「一切皆可量化」的大數據浪潮中,網路逐漸成為現實世界的「鏡像」,網路社會與現實社會日益融為一體,網路輿情管理不再局限於網上言論領域,而必須全面掌握網路輿情運行規律及其與現實社會的相互影響,實現網上網下充分聯動、協調共治。二是豐富網路輿情管理手段。運用大數據技術,可以從更寬領域、更長時段對網上輿論進行比對分析,更加准確地把握網民情緒特點,預判輿情發展趨勢,提高輿情管理的效能。三是推動網路輿情理論研究工作。藉助大數據分析,輿情研究的視角將更加多元化和精確化,改變目前輿情研究「策為上、術為主、學匱乏」的尷尬學術現實。3.大數據提出網路輿情管理新要求。一是由關注個案向整體掌控轉變。傳統的網路輿情管理側重於針對重大輿情事件個案的管理,大數據則能夠更好地把握網路輿情發展的整體態勢。二是由被動響應向主動預測轉變。大數據的核心是預測,在海量的數據中通過分析,發現背後隱藏的微妙的關系,從而預測未來的趨勢,提前部署預防應對。三是由定性管理向定量管理轉變。將所有相關信息,包括網民評論、情緒變化、社會關系等,以量化的形式轉化為可供計算分析的標准數據,通過數據模型進行計算,分析輿情態勢和走向。 二、用大數據思維創新網路輿情管理創新大數據時代的網路輿情管理,要將大數據理念和手段貫穿始終,做到「五個結合」。1.將大數據和社會治理緊密結合起來,改進網路輿情源頭治理。網路輿情本質上是社情民意的體現,加強網路輿情管理就是加強社會治理。要運用大數據強大的「關聯分析」能力,構建網路輿情數據「立方體」,把網上網下各方面數據整合起來,進行分析,挖掘網路輿情和社會動態背後的深層次關系,實現網路輿情管理和社會治理的緊密聯動、同步推進。2.將大數據和網上政務信息公開緊密結合起來,提升政府公信力。當前,美國政府已經建立統一的數據開放門戶網站,並提供介面供社會各界開發應用程序來使用各部門數據,此舉將政務公開從「信息層面」推進到「數據層面」,開辟了政府信息公開的新路徑。我們要在保障數據安全的基礎上,探索建立我國的大數據政務公開系統,引導社會力量參與對公共數據的挖掘和使用,讓數據發揮最大價值。3.將大數據和日常輿情管理緊密結合起來,提高網路輿情整體掌控能力。美國紐約市警察局開發了著名的ComStat系統,通過分析歷史數據繪制「犯罪地圖」,預測犯罪高發時間和地點,從而有針對性地加強警力配置,獲得巨大成功。這種「數據驅動」方法,對網路輿情管理有一定的借鑒意義。要運用大數據突破傳統輿情管理的狹窄視域,建立網路輿情大數據台賬系統,實時記錄網站、博客、微博、微信、論壇等各個網路平台數據,全面分析輿情傳播動態,從瞬息萬變的輿情數據中找准管理重點、合理配置資源,提高管理效能。4.將大數據和突發事件應對緊密結合起來,提高網路輿情應急處置能力。大數據時代,社會突發事件與互聯網總是緊密相連、如影隨形,網路既能成為突發事件的「助燃劑」,也能夠成為應對事件的有力工具。要建立「輿情量化指標體系」、「演化分析模型」等數據模型,綜合分析事件性質、事態發展、傳播平台、瀏覽人數、網民意見傾向等各方面數據,快速准確地劃分輿情級別,確定應對措施,解決傳統的輿情分級中存在的隨意性、滯後性等問題,做到科學研判、快速處置。5.將大數據和輿論引導緊密結合起來,提高感染力和說服力。大數據時代的輿論引導,一方面要「循數而為」,通過分析網上數據,建立網民意見傾向分析模型,了解網民的喜好和特點,做到「善說話、說對話」。另一方面要「用數據說話」。數據最有說服力,要在充分收集相關數據的基礎上,運用圖表等數據可視化技術,全面呈現事件的來龍去脈,讓網民既了解事件真相,也了解事件背景和歷史脈絡,消除輿論的「盲人摸象」效應,化解網民偏激情緒,實現客觀理性。 三、以切實有力的舉措推進大數據輿情管理體系建設要積極適應大數據時代發展要求,從體制機制、技術手段、人才隊伍等各個方面加快創新,構建完善的網路輿情管理體系,不斷提升網路輿情管理的科學化、現代化、數字化水平。1.健全大數據輿情管理體制。數據資源是國家的重要戰略資源。當前,我國在大數據管理方面還存在數據分散、利用率低、安全性不高等問題,要盡快出台國家層面的大數據戰略規劃,加快數據立法進程,加大資金、技術、人力資源投入。建議建立由網信部門牽頭的互聯網大數據管理體制,設立政府首席信息官,統籌各方面數據的匯集、管理和利用,制定統一的數據介面標准,打破各行各業的「數據孤島」,推動我國大數據加快發展。2.建設網路輿情大數據基礎平台。數據只有整合利用才能產生價值。當前,亟需建設統一高效的大數據基礎平台,實現各行業、各領域數據的統一存儲、交流互通。要盡快建設我國網路數據中心,構建國家級的互聯網大數據平台,全面匯集各方面數據。加快出台相關法律法規,明確各級各部門包括政府部門、企業、人民團體等向網路數據中心提供和共享數據的權利義務,使網路數據中心成為全國數據存儲和交換的中心樞紐,實現數據的快速匯集、規范管理、高效利用。3.強化網路輿情管理大數據技術支撐。大數據既有全面、動態、開放等優勢,也有價值密度低、傳播速度快等難點,必須加快技術攻關,提高數據「沙裡淘金」的能力。一是數據監測技術,實現對媒體、論壇、博客、微博、微信等各個網路平台數據的全面抓取和記錄,特別是要提高對圖片、音視頻等數據的自動識別能力。二是大規模數據存儲技術。建設具有海量存儲能力的大數據平台,實現對大規模數據的高效讀寫和交換。三是數據挖掘技術,從海量數據中快速識別有價值數據,並挖掘數據背後隱藏的規律。四是數據分析技術,包括關聯分析、聚類分析、語義分析等等,自動分析網上言論蘊含的意見傾向及相互之間的關聯性,揭示輿情發展趨勢。五是數據安全技術,包括身份驗證、入侵檢測、網路關防等等,保障數據安全。4.壯大網路輿情大數據人才隊伍。要統籌國內各大高校、科研單位、媒體機構、政府部門力量,開設專門的數據科學學科,加強各學科人才的交叉培養,重點培養綜合掌握統計學、計算機學、新媒體、傳播學等各方面知識的復合型人才,打造一支規模宏大的大數據人才隊伍,為網路輿情管理提供堅實的人才智力支撐。
Ⅶ 大數據技術的出現給地理信息系統帶來哪些機遇和挑戰
機遇是,通過結合大數據,gis可以更好地研究區域的時空變化,以及全國乃至全球的時空變化,也可以研究多指標耦合影響下的時空變化。挑戰就是,技術可能更難實現。
Ⅷ 大數據時代的挑戰、價值與應對策略
大數據時代的挑戰、價值與應對策略
隨著移動互聯網、物聯網、雲計算等的快速發展,及視頻監控、智能終端、應用商店等的快速普及,全球數據量出現爆炸式增長。在此背景下,電信運營商在其網路無休止擴容的同時,卻面臨「增量不增收」的困境;而一些採用「數據驅動型決策」模式經營的公司,則可將其生產力提高5%~6%。因此,有必要深入研究大數據時代(Big Data Era)的挑戰、價值與務實應對策略。
1大數據時代的基本特徵
據統計,2010年以互聯網為基礎所產生的數據比之前所有年份的總和還要多;而且不僅是數據量的激增,數據結構亦在演變。Gartner預計,2012年半結構和非結構化的數據,諸如文檔、表格、網頁、音頻、圖像和視頻等將佔全球網路數據量的85%左右;而且,整個網路體系架構將面臨革命性改變。由此,所謂大數據時代已經來臨!
對於大數據時代,目前通常認為有下述四大特徵,稱為「四V」特徵:
(1)量大(Volume Big)。數據量級已從TB(1012位元組)發展至PB乃至ZB,可稱海量、巨量乃至超量。
(2)多樣化(Variable Type)。數據類型繁多,愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。
(3)快速化(VelocityFast)。數據流往往為高速實時數據流,而且往往需要快速、持續的實時處理;處理工具亦在快速演進,軟體工程及人工智慧等均可能介入。
(4)價值高和密度低(Value HighandLowDensity)。以視頻安全監控為例,連續不斷的監控流中,有重大價值者可能僅為一兩秒的數據流;360°全方位視頻監控的「死角」處,可能會挖掘出最有價值的圖像信息。
2大數據時代面臨的挑戰
(1)運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰,管道化壓力化解及「雲-管-端」的有效裝備也均面臨新挑戰。
(2)大數據的「四V」特徵在數據存儲、傳輸、分析、處理等方面均帶來本質變化。數據量的快速增長,對存儲技術提出了挑戰;同時,需要高速信息傳輸能力支持,與低密度有價值數據的快速分析、處理能力。
(3)海量數據洪流中,在線對話與在線交易活動日益增加,其安全威脅更為嚴峻;而且現今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓,典型的有APT(Advanced Persistent Threat,高級持續性安全威脅)。
(4)大數據環境下通過對用戶數據的深度分析,很容易了解用戶行為和喜好,乃至企業用戶的商業機密,對個人隱私問題必須引起充分重視。
(5)大數據時代的基本特徵,決定其在技術與商業模式上有巨大的創新空間,這將對可持續發展起關鍵作用。
(6)大數據時代的基本特徵及安全挑戰,對政府制訂規則與監管部門發揮作用提出了新的挑戰。
3大數據帶來的價值
(1)利用大數據特徵,藉助雲計算等有效工具,深度挖掘流量與數據價值,可幫助運營商實施好流量經營,減輕管道化風險,發揚「雲-管-端」的智能管道的威力。
(2)多業務環境下掌握用戶體驗效果尤為重要,可從海量用戶數據中深度分析、挖掘出用戶的行為習慣和消費愛好,以實施精準營銷及網路優化,掌控數據增值的「金鑰匙」。
(3)掌握好大數據的存儲、分類、挖掘、快速調用和決策支撐,並應用於企業的日常運營、維護及戰略轉型中,成為企業可持續發展、維持競爭優勢的當務之急與重要途徑。
(4)充分利用對大數據的分析、挖掘,可幫助找到隱蔽性極強的APT之類的安全威脅,助力信息安全部門找到應對新型安全威脅的有效途徑。
(5)通過對公共大數據的分析、挖掘與利用,可減少欺詐行為及錯誤數據的負面作用、追收逃稅漏稅及刺激公共機構生產力等,幫助政府節省開支。例如英國政府即通過此途徑節省大約330億英鎊/年。
4大數據時代的應對策略
(1)大數據時代應以智慧創新理念融合大數據與雲計算,在大數據洪流中提升知識價值洞察力,實施高效實時個性化運作,建立有效增值的商業模式,確保應對APT之類的新型安全威脅。
(2)電信運營商轉型中流量經營已成共識,即以智能管道與聚合平台為基礎,以擴大流量規模、提升流量層次及豐富流量內涵作為基本經營方向,並以釋放流量價值為基本目標,可見大數據和雲計算的深度融合與此流量經營目標十分吻合。實際上已經有一些運營商藉助大數據Hadoop雲工具管理與分析網路中的用戶數據,為日常運維及制定市場戰略等提供有效支撐。
(3)針對大數據時代的基本特徵,加強全方位創新。包括IBM、EMC、HP、Microsoft等在內的IT巨頭,紛紛加速收購相關大數據公司進行技術整合,尋找數據洪流大潮中新的立足點。而涉及人工智慧、機器學習等新技術的創新應用,已初顯效益。
(4)將大數據時代全方位創新工作和智慧城市發展緊密結合。藉助移動互聯網、大數據與雲計算的融合、智能運營管道等,建立智能平台,優化配置城市資源,向真正的智慧城市邁進。
(5)藉助大數據創新處理技術應對APT安全攻擊。APT安全攻擊的最主要特徵為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定;同時APT攻擊一旦入侵成功則長期潛伏,攻擊時間上具有持續性。目前,全流量審計方案具備強大的實時檢測能力與事後回溯能力,並可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起,是一種較完整的解決方案。
Ⅸ 當代大學生應該如何應對「大數據」帶來的機遇與挑戰
大數據,或稱巨量資料,是指所涉及的資料量規模巨大,以致無法通過目前主流軟體工具在合理時間內擷取、管理、處理並整理成為幫助企業達致經營決策目的的資訊。大數據技術不僅能夠提高人們利用數據的效率,而且能夠實現數據的再利用和重復利用,進而大大降低交易成本,提升人們開發自我潛能的空間。人們可以低成本或零成本進行事物信息全息式的縱向歷史比對和橫向現實比對。大數據技術自身不僅能夠迅速衍生為新興信息產業,還可以同雲計算、物聯網和智慧工程技術聯動,支撐一個信息技術的新時代。
雲計算、物聯網、大數據、智慧工程都是新一代信息技術。雲計算技術是一種按使用量付費的模式,這種模式可以提供可用的、便捷的、按需的網路訪問,進入可配置的計算資源共享池(資源包括網路、伺服器、存儲、應用軟體、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。雲計算技術可以使人們及時利用各類大數據。物聯網技術的實質就是物物相連的互聯網,物聯網的核心和基礎仍然是互聯網,其用戶端延伸和擴展到了任何物品與物品之間,進行信息交換和通信。物聯網技術可以溯源大數據和保證信息的真實性。智慧工程就是把感應器嵌入和裝備到電網、鐵路、橋梁、隧道、公路、建築、供水系統、大壩、油氣管道等各種物體中,並且進行普遍連接,與現有的互聯網整合起來,實現人類社會與物理系統的整合。智慧工程可以激活沉寂的大數據。