風暴大數據

1. 誰最早提出大數據的概念

最早提出大數據的是美國數據學家維克多•邁爾-舍恩伯格。推薦他的兩本書《刪除》，《大數據時代》。

2. 在大數據時代,雲消費帶來的暴風特徵有哪些特點

一是參與度高，社會成員人人參與；二是傳播面廣，業界、媒體、政府、公眾，傳播到每一個角落；三是影響大，可迅速成為社會熱點，人人關注；四是破壞力強，就像一場無可抵抗的風暴，企業一旦控制不好，後果極其嚴重。

3. 大數據如何作用於」輿情「

大數據如何作用於」輿情「
隨著互聯網技術的迅速發展，信息量大、類型繁多、價值密度低、速度快、時效高的大數據吸引了越來越多的關注目光，大數據帶來的信息風暴正在改變我們的生活、工作和思維。毋庸諱言，輿情服務在進行行業規范和整合的同時，正面臨著大數據的挑戰。
大數據時代，對信息的「加工」是基礎。據 互聯網專家介紹，大數據體量巨大，非結構化數據的超大規模和增長分別占總數據量的80％至90％，比結構化數據增長快10到50倍。從輿情產品服務的角度 看，濃縮海量信息，抵抗「數據爆炸」已成輿情工作基本要求。故此，掌握數據抓取能力與輿情解讀能力，通過「加工」實現數據的「增值」，將是未來輿情分析的 必備技能。目前，國內很多輿情服務機構甚至沒有專門的數據管理、分析部門和專業分析團隊，分析人員對信息的鑒別力、萃取力、掌控力仍有待提高。在信息廣度 上大作文章的同時，未來需要一批有較高學習能力、分析能力、知識水平的數據從業人員占據輿情服務重鎮。
大數據時代，對數據的解釋是關鍵。目 前，數據的可獲得度已經空前提高，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，實現真正的大數據挖掘和分析。數據的海量、 及時、動態、開放，有利於我們完善分析的效度和深度。同時，大數據也有價值密度低、傳播速度快等特點，數據分析的模式是否科學，這將直接影響數據分析的質 量。大數據的異構和多樣性，需要輿情分析人員對一些危機事件進行高質量的數據解釋。基於數據分析，能否提煉出獨到、高質量的觀點，在凌亂紛繁的數據背後找 到更符合客戶要求的輿情產品和服務，並進行針對性的調整和優化，這是大數據時代輿情最大的變數。
大數據時代，對趨勢的研判是目標。大 數據的核心和目標就是預測，具體到輿情服務，輿情工作人員從互聯網浩如煙海的數據中挖掘信息、判斷趨勢、提高效益，雖然獲得廣泛且實際的應用，但還遠遠不 夠。輿情分析人員要不斷增強關聯輿情信息的分析和預測，把服務的重點從單純的收集有效數據向對輿情的深入研判拓展，跟蹤關聯輿情，不再局限於危機解決，還 要輔之以決策參考，從注重「靜態收集」向注重「動態跟蹤」拓展，從致力「反映問題」向致力「解決問題」拓展，使輿情產品和服務「更高、更快、更強」（視點 高、預警快、處置強）。
大數據時代，分眾服務是方向。數 據的互通互聯，改變了資料庫、應用軟體和用戶界面等系統之間的「孤島」狀態。輿情服務機構應樹立大輿情觀念，對數據進行生產、分析和解讀，探索一條為用戶 提供分眾化服務的信息增值之路，使輿情服務的主體和邊界形成一條完整的「輿情閉環」。在這個認識基礎上，輿情服務機構需把握未來幾年大數據在公共及企業管 理領域發展的重要方向：橫向看，將服務主體延伸至政府、企業和社會的各領域，通過搭建關聯領域的資料庫、輿情基礎資料庫等，充分整合政府和企業的數據資 產；縱向看，將產品內容延伸至包括輿情抓取、預警到決策、評估等在內的各環節，協助客戶豐富和完善決策參考體系。
大 輿情，強調大數據的關聯性。發展和利用好數據資源，充分反映數據爆發背景下的數據處理與應用需求，這是大數據時代最大的輿情變革。目前，國內經濟社會轉型 發展環境壓力加大，社會周期結構性突發輿情因素增多，輿情工作者尤其需要樹立前瞻意識，提高媒介素養，加強互聯網「大數據」分析研判，獲取情報，抓住機 遇，為長遠發展打下良好的基礎。

4. 大數據帶來的挑戰有哪些 會導致數據盲點 危及個人隱私

隨著移動互聯網、物聯網等新技術的迅速發展，人類進入數據時代。大數據帶來的信息風暴正深刻改變我們的生活、工作和思維方式，對網路輿情管理也帶來深刻影響。 一、大數據時代網路輿情管理面臨的新形勢大數據意味著人類可以分析和使用的數據大量增加，有效管理和駕馭海量數據的難度不斷增長，網路輿情管理面臨全新的機遇和挑戰。 互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果真的想做，可以來這里，這個手技的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，想說的是，除非想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了。1.大數據帶來網路輿情管理新挑戰。一是海量數據的挑戰。海量的網上信息難以掌控，大量相關性、偶發性因素使輿情更加復雜多變，傳統的輿情監測研判手段和方法難以奏效，新的技術手段和方法要求更高。二是信息選擇性傳播的挑戰。網上數據無限性和網民關注能力有限性之間的矛盾，加劇了社會輿論的「盲人摸象」效應。社會化媒體促進信息的開放和溝通的便捷，分眾傳播、個性化傳播凸顯，使偏激的觀點更容易找到「同類」，從而相互支持、強化放大，加劇輿論偏激情緒。三是輿論話語權分散的挑戰。大數據時代各類數據隨手可得，越來越多的機構、個人通過數據挖掘和分析得出的各種結論會不脛而走，有效管理輿情的難度越來越大。2.大數據帶來網路輿情治理新機遇。一是拓展網路輿情治理領域。在「一切皆可量化」的大數據浪潮中，網路逐漸成為現實世界的「鏡像」，網路社會與現實社會日益融為一體，網路輿情管理不再局限於網上言論領域，而必須全面掌握網路輿情運行規律及其與現實社會的相互影響，實現網上網下充分聯動、協調共治。二是豐富網路輿情管理手段。運用大數據技術，可以從更寬領域、更長時段對網上輿論進行比對分析，更加准確地把握網民情緒特點，預判輿情發展趨勢，提高輿情管理的效能。三是推動網路輿情理論研究工作。藉助大數據分析，輿情研究的視角將更加多元化和精確化，改變目前輿情研究「策為上、術為主、學匱乏」的尷尬學術現實。3.大數據提出網路輿情管理新要求。一是由關注個案向整體掌控轉變。傳統的網路輿情管理側重於針對重大輿情事件個案的管理，大數據則能夠更好地把握網路輿情發展的整體態勢。二是由被動響應向主動預測轉變。大數據的核心是預測，在海量的數據中通過分析，發現背後隱藏的微妙的關系，從而預測未來的趨勢，提前部署預防應對。三是由定性管理向定量管理轉變。將所有相關信息，包括網民評論、情緒變化、社會關系等，以量化的形式轉化為可供計算分析的標准數據，通過數據模型進行計算，分析輿情態勢和走向。 二、用大數據思維創新網路輿情管理創新大數據時代的網路輿情管理，要將大數據理念和手段貫穿始終，做到「五個結合」。1.將大數據和社會治理緊密結合起來，改進網路輿情源頭治理。網路輿情本質上是社情民意的體現，加強網路輿情管理就是加強社會治理。要運用大數據強大的「關聯分析」能力，構建網路輿情數據「立方體」，把網上網下各方面數據整合起來，進行分析，挖掘網路輿情和社會動態背後的深層次關系，實現網路輿情管理和社會治理的緊密聯動、同步推進。2.將大數據和網上政務信息公開緊密結合起來，提升政府公信力。當前，美國政府已經建立統一的數據開放門戶網站，並提供介面供社會各界開發應用程序來使用各部門數據，此舉將政務公開從「信息層面」推進到「數據層面」，開辟了政府信息公開的新路徑。我們要在保障數據安全的基礎上，探索建立我國的大數據政務公開系統，引導社會力量參與對公共數據的挖掘和使用，讓數據發揮最大價值。3.將大數據和日常輿情管理緊密結合起來，提高網路輿情整體掌控能力。美國紐約市警察局開發了著名的ComStat系統，通過分析歷史數據繪制「犯罪地圖」，預測犯罪高發時間和地點，從而有針對性地加強警力配置，獲得巨大成功。這種「數據驅動」方法，對網路輿情管理有一定的借鑒意義。要運用大數據突破傳統輿情管理的狹窄視域，建立網路輿情大數據台賬系統，實時記錄網站、博客、微博、微信、論壇等各個網路平台數據，全面分析輿情傳播動態，從瞬息萬變的輿情數據中找准管理重點、合理配置資源，提高管理效能。4.將大數據和突發事件應對緊密結合起來，提高網路輿情應急處置能力。大數據時代，社會突發事件與互聯網總是緊密相連、如影隨形，網路既能成為突發事件的「助燃劑」，也能夠成為應對事件的有力工具。要建立「輿情量化指標體系」、「演化分析模型」等數據模型，綜合分析事件性質、事態發展、傳播平台、瀏覽人數、網民意見傾向等各方面數據，快速准確地劃分輿情級別，確定應對措施，解決傳統的輿情分級中存在的隨意性、滯後性等問題，做到科學研判、快速處置。5.將大數據和輿論引導緊密結合起來，提高感染力和說服力。大數據時代的輿論引導，一方面要「循數而為」，通過分析網上數據，建立網民意見傾向分析模型，了解網民的喜好和特點，做到「善說話、說對話」。另一方面要「用數據說話」。數據最有說服力，要在充分收集相關數據的基礎上，運用圖表等數據可視化技術，全面呈現事件的來龍去脈，讓網民既了解事件真相，也了解事件背景和歷史脈絡，消除輿論的「盲人摸象」效應，化解網民偏激情緒，實現客觀理性。 三、以切實有力的舉措推進大數據輿情管理體系建設要積極適應大數據時代發展要求，從體制機制、技術手段、人才隊伍等各個方面加快創新，構建完善的網路輿情管理體系，不斷提升網路輿情管理的科學化、現代化、數字化水平。1.健全大數據輿情管理體制。數據資源是國家的重要戰略資源。當前，我國在大數據管理方面還存在數據分散、利用率低、安全性不高等問題，要盡快出台國家層面的大數據戰略規劃，加快數據立法進程，加大資金、技術、人力資源投入。建議建立由網信部門牽頭的互聯網大數據管理體制，設立政府首席信息官，統籌各方面數據的匯集、管理和利用，制定統一的數據介面標准，打破各行各業的「數據孤島」，推動我國大數據加快發展。2.建設網路輿情大數據基礎平台。數據只有整合利用才能產生價值。當前，亟需建設統一高效的大數據基礎平台，實現各行業、各領域數據的統一存儲、交流互通。要盡快建設我國網路數據中心，構建國家級的互聯網大數據平台，全面匯集各方面數據。加快出台相關法律法規，明確各級各部門包括政府部門、企業、人民團體等向網路數據中心提供和共享數據的權利義務，使網路數據中心成為全國數據存儲和交換的中心樞紐，實現數據的快速匯集、規范管理、高效利用。3.強化網路輿情管理大數據技術支撐。大數據既有全面、動態、開放等優勢，也有價值密度低、傳播速度快等難點，必須加快技術攻關，提高數據「沙裡淘金」的能力。一是數據監測技術，實現對媒體、論壇、博客、微博、微信等各個網路平台數據的全面抓取和記錄，特別是要提高對圖片、音視頻等數據的自動識別能力。二是大規模數據存儲技術。建設具有海量存儲能力的大數據平台，實現對大規模數據的高效讀寫和交換。三是數據挖掘技術，從海量數據中快速識別有價值數據，並挖掘數據背後隱藏的規律。四是數據分析技術，包括關聯分析、聚類分析、語義分析等等，自動分析網上言論蘊含的意見傾向及相互之間的關聯性，揭示輿情發展趨勢。五是數據安全技術，包括身份驗證、入侵檢測、網路關防等等，保障數據安全。4.壯大網路輿情大數據人才隊伍。要統籌國內各大高校、科研單位、媒體機構、政府部門力量，開設專門的數據科學學科，加強各學科人才的交叉培養，重點培養綜合掌握統計學、計算機學、新媒體、傳播學等各方面知識的復合型人才，打造一支規模宏大的大數據人才隊伍，為網路輿情管理提供堅實的人才智力支撐。

5. 且慢說「大數據」的無所不能

且慢說「大數據」的無所不能
「大數據」是個好東西，是科學的前沿，值得我們認真積極關注、推介和參與，但它絕不是哈利波特，不會「一抓就靈」，不能包打天下和無所不能。

回頭看看這些年的所謂產業「浪潮」新理念、新理論和新技術，一旦引入我國後，常是泡沫翻騰，真經並不多。去年是「雲計算」，今年是「大數據」，官員、學者或媒體人嘴上不常換點國際流行的新詞，都不好意思開口。
其實，「大數據」很簡單，不神秘，以前無法處理的海量數據或沒當做數據的東西（如你在超市逛逛或對那個營業員笑一笑），因計算機計算能力如「雲計算」的進步，都可以分析出個子丑寅卯了，如很多人逛超市的路徑與購物之間有數據關系，據此調整布局有利於銷售，美國有超市把影碟與尿布放在一起，就是通過「大數據」分析發現，來為孩子買尿布的父母喜歡為自己帶盤碟子。
但把「大數據」用做解決世界上最難處理的問題的全能辦法，從管理城市到消除貧困，從制止恐怖襲擊、疾病流行到拯救地球環境等，以為有了「大數據」，就沒有解決不了的問題，這也是一種誤解。人類的思想、個人的文化和行為模式、不同國家及社會的存在發展都非常復雜、曲折和獨特，顯然不能全部由計算機來「數字自己說話」。比如，近來歐美有人提倡用「大數據」分析人的日常行為模式和習慣，判斷誰將要犯罪，以此幫助預防未來的犯罪，就引起了很大的爭議和質疑，公眾擔心因司法程序缺失而受到莫名威脅。
其實，企圖用一行行的代碼和龐大資料庫的「大數據」來解釋和指導世間萬物萬象，很像此前企圖用基因等生物密碼來解釋和調控人類的行為模式，看起來是客觀中立的，但說到底，「大數據」再「大」，也不會「自己說話」，還是設計者、分析者和使用者在說了算。所以，「大數據」並不能使人們完全擺脫曲解、隔閡和錯誤的成見。
而且，數據的採集也會使「大數據」不中立和不全面，以至於不公正，如目前社交媒體等即時通訊是「大數據」分析的一個普遍信息源，那裡無疑有許多信息可以挖掘，國外神話「大數據」的範例幾乎都來源於此。但至少在我國現在和未來一段時間里，以此途徑反映民情的某些「大數據」可能會忽視了「沉默的大多數」而失准。過分依賴和迷信「大數據」，難以避免對某一群體的「數據歧視」，可能會依據錯誤的成見作出重大的公共政策和商業決定。
更需指出的是，「大數據」的潛在負面效應不可忽視。無處不在的「大數據」使個人隱私無處藏身，甚至會引發更多問題。例如，最近，「大數據」被用來預測臉譜網用戶極其敏感的個人信息，如性取向、種族、宗教和政治觀點、性格特徵、智力水平、快樂與否、成癮葯物使用、父母婚姻狀況、年齡及性別等。這些高度敏感信息很可能會被僱主、房東、政府部門、教育機構及私營組織用來對個人實施歧視。
「大數據時代」的作者維克托說，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型。這話很有道理。但他認為，大數據時代最大的轉變就是，放棄對因果關系的渴求，而取而代之關注相關關系。也就是說只要知道「是什麼」，而不需要知道「為什麼」。歌頌者說，這是維克托顛覆了千百年來人類的思維慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。可我們有疑：不問或不知「為什麼」，我們還是人嗎？
其實，維克托又新寫了一本叫「刪除」的書，講述了大數據時代的信息取捨，說遺忘是一種美德。說白了，就是該記的記，該忘的忘。這就更加說明，無論到何時，其實都還是人在思考和「說話」，即使在「大數據時代」可以通過數據形式來部分表達。所以，把「大數據」提高到不恰當的高度，甚至魔幻化或泡沫化，對推廣「大數據」技術及應用不僅無益，還會弄成一些新的神話，或許還有笑話。

6. 《大數據時代》01 什麼是大數據

今天我們第一本解讀的是《大數據時代》這本書。

大數據是這幾年特別火的一個詞，那究竟什麼是大數據呢？

字面意思可以理解為大數據就是數量巨大的數據，而這些巨大的數據再結合雲計算、人工智慧、物聯網等技術會對於我們的生活、工作都會帶來翻天覆地的影響。

芝加哥大學商學院教授、麥肯錫公司創始人，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」

而我們今天所講的這本《大數據時代》是國外大數據研究的先河之作，本書作者舍恩伯格被譽為「大數據商業應用第一人」。舍恩伯格在書中前瞻性地指出，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型，並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。對於身處於大數據時代額我們可謂是會產生異常極大的思維方式的變革。

舍恩伯格最具洞見之處在於，他明確指出，大數據時代最大的轉變就是，放棄對因果關系的渴求，而取而代之關注相關關系。也就是說只要知道「是什麼」，而不需要知道「為什麼」。這就顛覆了千百年來人類的思維慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。

下面我們就進入到《大數據時代》這本書中去吧。

首先來看第一個話題大數據的思維變革

大數據與三個重大的思維變革有關，而這三個轉變是相互作用的。

一.不是隨機樣本，而是全體數據

解釋一下就是分析事物相關的所有數據，而不是僅僅依靠分析少量的數據樣本。

二是不是精確性，而是混雜性

就是要接受數據的紛繁復雜，而不再追求准確性。

三是不是因果關系，而是相關關系

即不再追求難以摸索的因果關系，轉而關注事物的相關關系。

這三個在大數據時代思維變革的轉變我們會在接下來節目中一一講解。

今天我們這一節先講解：不是隨機樣本，而是全體樣本，這一思維的變革。

小數據時代的隨機抽樣

為什麼這么說呢？在我們過去技術並不發達的時候，只能用少量數據來進行隨機采樣是最高效的方式，即利用最少的數據來獲取更多的信息。

在19世紀時美國的人口普查中，因為數據的變化超過了當時的人口普查統計分析能力，有人提出到數據無比龐大時可以進行有目的的選擇，具有選出代表性的樣本是最恰當的方式，這就是隨機抽樣。並且還非常有見解的提出：采樣分析的精確性是隨著采樣隨機性的增加而大幅的提高與樣本的數量增加關系並不大，也就是說，隨機采樣樣本的隨機性比數量的多少更為重要。

而在當時，政府確實也採用了隨機調查的方式來對於經濟和人口進行了200多次小規模的調查，除此之外，在商業領域也會採用隨機調查的方式來抽取部分商品來檢查商品的質量安全。

隨機抽樣取得了巨大的成功，成為了現代社會，現代測量領域的主心骨，但這只是一條捷徑，是不可能收集和分析全部數據情況下的選擇，他本身就有很多的缺陷。

隨機抽樣的缺陷

第一，它的成功依賴於采樣的絕對隨機性，但在實現中絕對的隨機性是非常困難，一旦分析過程中存在任何「偏見」，分析結果就會相去甚遠。

第二，隨機采樣不適宜用於考察此類別的情況，也就是說隨機抽樣，一旦繼續細分錯誤率會大大增加，比如說你想調查大學生玩手機的情況，您採取的調查結果可能會有3%的誤差，但如果又把這個調查結果根據性別地域、收入來進行細分，那結果就會變得更為不準確。

因此當人們想要了解更深層次的細分領域的情況，採用隨機采樣的方法顯然是不可取的，在宏觀領域起作用的方法，在微觀領域上失去了作用，隨機采樣就像是模擬照片，列印再遠看會是非常不錯，但是一旦聚焦在某個點，就會變得模糊不清。

全部數據的采樣方式

現在我們正在步入了大數據時代，我們需要一中新的數據採集模式----全數據模式，即樣本等於總體。

我們這個時代收集數據，並不像過去那樣困難，手機導航、社交網站、微博、微信這些隨時隨地或主動或被動的收集你所產生的信息，並且通過計算機就可以輕而易舉地完成數據處理。

採取全部數據的采樣方式，可以不用考慮隨機抽樣所考慮的隨機性，並且在細分領域也會發揮極大的作用，一個很好的例子，就是日本國民體育運動相撲之中所產生的非法操控比賽結果。

相撲比賽和其他比賽有所不同的就是選手需要在15場比賽之中的大部分場次獲得勝利，才能保持排名和收入。這樣一來就會出現收益不對稱的情況，比如說一個7勝7負的選手，遇到一個8勝6負的選手，比賽結果對於第一個選手會比對第二個選手更為重要。列維特和達根發現在這種情況下，需要贏的那個選手，最可能會贏，這是為什麼呢？有沒有可能是選手的求勝心呢？當然有可能，但並不是完全！有數據顯示需要贏的選手，求勝心，也只能把勝率增加25%。並且對於數據進一步分析發現，選手如果幫助上一次失利的一方的話，當他們再次相遇時，對方會回報回來。

這種情況在相撲界是顯而易見的，但若是隨機抽樣就無法發現這個情況。而大數據通過分析所有比賽，用極大的數據來捕捉到這個情況。

還有關於大數據應用的例子是：2009年，谷歌公司將5000萬條美國最頻繁的檢索詞條和美國疾控中心在2003年至2008年季節性流感傳播實際數據進行比較，成功預測了甲型H1N1流感的出現。

現在2021年，利用大數據來預測新冠肺炎的發展情況，已經成為我們日常新聞報道的一部分了。

在大數據時代的到來，讓我們可以利用技術，從不同角度更細致的觀察和研究數據的方方面面，使我們的調查更為精準。

回顧一下我們這一節所講的過去的調查是採用小部分的數據來進行抽樣調查，這一方法有顯著的缺點

首先是抽樣分析依賴於采樣的隨機性，而一旦數據出現」偏見「，結果便會大相徑庭

第二抽樣分析也只適用於宏觀分析，對於更加微觀的調查結果並不理想。

如今的技術環境已經有了很大的改善,在大數據時代進行抽樣分析就是在汽車時代騎馬一樣，我們要分析與事物相關的而所有數據，而不僅僅是少量的數據。

以上就是我們本期全部內容，下一期我會講到大數據時代下思維變革的後兩個思維變革。

我的節目首發平台是公眾號「悅讀深入思考」關注還有更多內容

7. 大數據未來會怎樣

大數據行業主要上市公司：易華錄(300212)、美亞柏科(300188)、海量數據(603138)、同有科技(300302)、海康威視(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科創信息(300730)、神州泰岳(300002)、藍色游標(300058)等

本文核心數據：中國大數據產業發展歷程 市場規模 細分市場格局 應用市場格局 發展前景預測等

發展歷程：十年來大數據產業高速增長，我國信息智能化程度得到顯著提升

我國大數據產業布局相對較早，2011年，工信部就把信息處理技術作為四項關鍵技術創新工程之一，為大數據產業發展奠定了一定的政策基礎。自2014年起，「大數據」首次被寫進我國政府工作報告，大數據產業上升至國家戰略層面，此後，國家大數據綜合試驗區逐漸建立起來，相關政策與標准體系不斷被完善，到2020年，我國大數據解決方案已經發展成熟，信息社會智能化程度得到顯著提升。

市場規模：2020年市場規模超6000億 維持高速增長

中國大數據產業聯盟發布的《2021中國大數據產業發展地圖暨中國大數據產業發展白皮書》指出，2018年以來，大數據技術的快速發展，以及大數據與人工智慧、VR、5G、區塊鏈、邊緣智能等新技術的交匯融合，持續加速技術創新。與此同時，伴隨新型智慧城市和數字城市建設熱潮，各地與大數據相關的園區加速落地，大數據產業持續增長。

賽迪顧問的數據顯示，2020年中國大數據產業規模達6388億元，同比增長18.6%，預計未來三年保持15%以上的年均增速，到2023年產業規模超過10000億元。

市場格局

——細分市場格局：軟硬體占據行業主要市場

目前，我國的大數據產業尚處於初級建設階段，從市場結構來分，大數據產業可劃分為大數據硬體、軟體以及服務三類市場。

根據《IDC全球大數據支出指南》，2020年中國大數據市場最大的構成部分仍然來自於傳統硬體部分——伺服器和存儲，佔比超過40%，其次為IT服務和商業服務，兩者共佔33.6%的比例，剩餘由25.4%的大數據軟體所構成。從軟體角度來看，2020年中國最大的三個細分子市場依次為終端用戶查詢匯報分析工具(End-User
Query, Reporting, and Analysis Tools)、人工智慧軟體平台(AI Software
Platforms)以及關系型數據倉庫(Relational Data
Warehouses)，並且IDC預計，三者總和佔中國整體大數據軟體市場的比例接近50%。

——應用市場格局：互聯網、政府、金融為大數據主要應用領域

從具體行業應用來看，互聯網、政府、金融和電信引領大數據融合產業發展，合計規模佔比為77.6%。互聯網、金融和電信三個行業由於信息化水平高，研發力量雄厚，在業務數字化轉型方面處於領先地位;政府大數據成為近年來政府信息化建設的關鍵環節，與政府數據整合與開放共享、民生服務、社會治理、市場監管相關的應用需求持續火熱。此外，工業大數據和健康醫療大數據作為新興領域，數據量大、產業鏈延展性高，未來市場增長潛力大。

發展趨勢與前景

——發展趨勢：數據治理成為大數據發展的重要方向

——發展前景預測

據賽迪顧問預測，2023年中國大數據產業市場規模將超過10000億元，2021-2023年增速將達到15%以上。在此基礎上，前瞻測算，到2027年我國大數據產業市場規模將接近18000億元。

更多行業相關數據請參考前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》，

8. 大數據技術領域工具有哪些

1、Hadop

Hadoop誕生於2005年，是雅虎(Yahoo)為解決網路搜索問題而設計的一個項目。由於它的技術效率，後來被Apache軟體基金會作為開源應用程序引入。Hadoop本身不是一個產品，而是一個軟體產品的生態系統，這些軟體產品結合在一起，實現了全面的功能和靈活的大數據分析。從技術上講，Hadoop包括兩個關鍵服務:使用Hadoop分布式文件系統(HDFS)的可靠數據存儲服務和使用MapRece技術的高性能並行數據處理服務。

2、蜂巢

Hive是建立在Hadoop文件系統之上的數據倉庫架構，用於分析和管理存儲在HDFS中的數據。Facebook的誕生和發展是為了應對管理和機器學習Facebook每天產生的大量新社交網路數據的需求。後來，其他公司開始使用和開發Apache Hive，如Netflix、Amazon等。

3、風暴

Storm是一個主要由Clojure編程語言編寫的分布式計算框架。這家營銷和情報公司由Nathan Marz和他在BackType的團隊創立，2011年被Twitter收購。Twitter隨後將該項目開源，並將其推廣到GitHub。Storm最終於2014年9月加入Apache孵化器項目，正式成為Apache的頂級項目之一。

9. 大數據生態技術體系有哪些

1、大數據生態技術體系——Hadoop

由Apache基金會開發的分布式系統基礎設施。Hadoop框架的核心設計是HDFS和MapRece。HDFS提供海量數據的存儲，MapRece提供海量數據的計算。Hadoop是一個基本框架，它可以託管許多其他東西，比如Hive。不想用編程語言開發MapRece的人可以使用Hive進行離線數據處理和分析。例如，HBase作為面向列的資料庫在HDFS上運行，而HDFS缺乏讀和寫操作，這就是為什麼HBase是一個分布式的、面向列的開源資料庫。

2、大數據生態技術體系——的火花

也是一個開源項目Apache基金會的另一個重要的分布式計算系統開發的加州大學伯克利分校的實驗室。最大的火花和Hadoop的區別是Hadoop使用硬碟來存儲數據,而火花使用內存來存儲數據,因此火花可以提供超過100次的計算速度。Spark可以通過YARN(另一個資源協調器)在Hadoop集群中運行，但是Spark現在也在進化成一個生態過程，希望通過一個技術棧實現上下游的集成。例如，Spark Shark VS Hadoop Hive, Spark Streaming VS Storm。

3、大數據生態技術體系——風暴

是一個由BackType團隊作為Apache基金會孵化器開發的分布式計算系統。它提供了基於Hadoop的實時計算特性，可以實時處理大型數據流。與Hadoop和Spark不同，Storm不收集和存儲數據。它通過網路直接實時接收和處理數據，然後通過網路直接實時返回結果。Storm擅長直播。例如，日誌，就像網路購物的點擊流一樣，是連續的、連續的、永遠不會結束的，所以當數據通過像Kafka一樣的消息隊列傳入時，Storm就會發揮作用。Storm本身並不收集或存儲數據，而是在數據到達時進行處理，並在運行時輸出數據。

上面的模塊只是基於大型分布式計算的通用框架，通常由計算引擎描述。

除了計算引擎，我們還需要IDE開發、作業調度系統、大數據同步工具、BI模塊、數據管理、監控和報警等平台工具。與計算引擎一起，形成了大數據的基礎平台。

在這個平台上，我們可以做基於數據的大數據處理應用，開發大數據應用產品。

大數據生態技術體系是什麼?大數據工程師掌握這些就夠了除了計算引擎，我們還需要一些平台工具，如IDE開發、作業調度系統、大數據同步工具、BI模塊、數據管理、監控和報警等，你能處理好嗎?如果您還擔心自己入門不順利，可以點擊本站其他文章進行學習。