大數據的突破

㈠ 大數據應用須解決三大關鍵點

大數據應用須解決三大關鍵點
大數據應用的關鍵點是數據來源、產品化和價值創造;數據資源分布不均，大數據應用在數據密集領域更易獲得突破;須對不當的行業管理模式進行改革,以促進大數據在已有各個行業中應用。
大數據貴在應用。當前，在國家層面，國務院出台《促進大數據發展行動綱要》;在地方層面，大數據被作為區域發展戰略引擎;在企業層面，各類大數據概念公司方興未艾、蓬勃發展。我們獨關注大數據應用，關注數據從哪裡來、數據怎麼用、成果誰買單，也就是數據來源、產品化和價值創造三個關鍵點。一個好的大數據應用，從技術上可能很復雜，但從業務模式上應當簡單、直白、管用。我們還關注，是否存在若干"數據密集型"行業或領域，大數據應用在這些領域可能更容易開展。在產業政策方面，我們關注作為新興業態的大數據，過去屢試不爽的做法，如給地、給錢、給項目等，是否還會繼續有效?
大數據應用的三個關鍵點
國務院《促進大數據發展行動綱要》(簡稱《大數據綱要》)將大數據定位為"新一代信息技術和服務業態"，賦予大數據"推動經濟轉型發展""重塑國家競爭優勢""提升政府治理能力"的戰略功能，並將數據界定為"國家基礎性戰略資源"。在應用方面，《大數據綱要》在公共領域提出許多發展方向，如宏觀調控科學化、政府治理精準化、商事服務便捷化、安全保障高效化、民生服務普惠化;在產業層面，主要按行業領域劃分為工業大數據、新興產業大數據、農業農村大數據、萬眾創新大數據，以及大數據產品體系和大數據產業鏈。這些方向，只是大數據應用的潛力和空間，能不能應用起來，能不能發揮作用，還得看有沒有可行模式和實際效果。無論是在公共領域還是在產業層面，大數據應用都離不開數據來源、處理技術和方法、創造價值的模式，這是我們關注的重點。概括來說，需要回答下面三個看似簡單、卻是關鍵的問題。(一)數據從哪裡來關於數據來源，普遍認為互聯網及物聯網是產生並承載大數據的基地。互聯網公司是天生的大數據公司，在搜索、社交、媒體、交易等各自核心業務領域，積累並持續產生海量數據。物聯網設備每時每刻都在採集數據，設備數量和數據量都與日俱增。這兩類數據資源作為大數據金礦，正在不斷產生各類應用。國外關於大數據的成功經驗介紹，大多是這類數據資源應用的經典案例。還有一些企業，在業務中也積累了許多數據，如房地產交易、大宗商品價格、特定群體消費信息等。從嚴格意義上講，這些數據資源還算不上大數據，但對商業應用而言，卻是最易獲得和比較容易加工處理的數據資源，也是當前在國內比較常見的應用資源。在國內還有一類是政府部門掌握的數據資源，普遍認為質量好、價值高，但開放程度低。《大數據綱要》把公共數據互聯開放共享作為努力方向，認為大數據技術可以實現這個目標。實際上，長期以來政府部門間信息數據相互封閉割裂，是治理問題而不是技術問題。面向社會的公共數據開放願望十分美好，恐怕一段時間內可望不可及。在數據資源方面，國內"小數據""中數據"應用並不充分，試圖一步跨入大數據時代，借機一並解決前期信息化過程中沒能解決的問題，前景並不樂觀。另外，由於中國互聯網公司業務主要在國內，其大數據資源也不是全球性的。數據從哪裡來是我們評價大數據應用的第一個關注點。一是要看這個應用是否真有數據支撐，數據資源是否可持續，來源渠道是否可控，數據安全和隱私保護方面是否有隱患。二是要看這個應用的數據資源質量如何，是"富礦"還是"貧礦"，能否保障這個應用的實效。對於來自自身業務的數據資源，具有較好的可控性，數據質量一般也有保證，但數據覆蓋范圍可能有限，需要藉助其他資源渠道。對於從互聯網抓取的數據，技術能力是關鍵，既要有能力獲得足夠大的量，又要有能力篩選出有用的內容。對於從第三方獲取的數據，需要特別關注數據交易的穩定性。數據從哪裡來是分析大數據應用的起點，如果一個應用沒有可靠的數據來源，再好、再高超的數據分析技術都是無本之木。(二)數據怎麼用數據怎麼用是我們評價大數據應用的第二個關注點。大數據只是一種手段，並不能無所不包、無所不用。我們關注大數據能做什麼、不能做什麼，現在看來，大數據主要有以下幾種較為常用的功能。追蹤。互聯網和物聯網無時無刻都在記錄，大數據可以追蹤、追溯任何一個記錄，形成真實的歷史軌跡。追蹤是許多大數據應用的起點，包括消費者購買行為、購買偏好、支付手段、搜索和瀏覽歷史、位置信息，等等。識別。在對各種因素全面追蹤的基礎上，通過定位、比對、篩選，可以實現精準識別，尤其是對語音、圖像、視頻進行識別，使可分析內容大大豐富，得到的結果更為精準。畫像。通過對同一主體不同數據源的追蹤、識別、匹配，形成更立體的刻畫和更全面的認識。對消費者畫像，可以精準推送廣告和產品;對企業畫像，可以准確判斷信用及風險。提示。在歷史軌跡、識別和畫像基礎上，對未來趨勢及重復出現的可能性進行預測，當某些指標出現預期變化或超預期變化時給予提示、預警。以前也有基於統計的預測，大數據大大豐富了預測手段，對建立風險控制模型有深刻意義。匹配。在海量信息中精準追蹤和識別，利用相關性、接近性等進行篩選比對，更有效率地實現產品搭售和供需匹配。大數據匹配功能是互聯網約車、租房、金融等共享經濟新商業模式的基礎。優化。按距離最短、成本最低等給定的原則，通過各種演算法對路徑、資源等進行優化配置。對企業而言，提高服務水平、提升內部效率;對公共部門而言，節約公共資源、提升公共服務能力。當前許多貌似復雜的應用，大都可以細分成以上幾種類型。例如，貴州推行的"大數據精準扶貧項目"，從大數據應用角度，通過識別、畫像，可以對貧困戶實現精準篩選和界定，找准扶貧對象;通過追蹤、提示，可以對扶貧資金、扶貧行為和扶貧效果進行監控和評估;通過配對、優化，可以更好地發揮扶貧資源的作用。這些功能也並不都是大數據所特有的，只是大數據遠遠超出以前的技術，可以做得更強大、更精準、更快、更好。(三)成果誰買單成果誰買單是我們評價大數據應用的第三個也是最後一個關注點。道理很簡單，不創造價值的應用不是好應用。我們關注大數據的應用是否實實在在地提升了能力、改善了績效。如果大數據用於自身的產品設計、營銷推廣、資源配置，那就看企業競爭力是不是提升了，看企業最終是不是比以前更賺錢了。如果大數據用於為第三方提供服務，那就看是不是有人願意付費、願意持續付費。但如果是用於公共領域，還要看政府或公共部門的付費值不值，不僅僅是從出資方的視角看值不值，還要從老百姓的視角看值不值。當我們面對一項大數據應用時，只要簡單問一問上面三個問題--數據從哪裡來、數據怎麼用、成果誰買單，就能揭開許多"偽裝"。當然，如果經得起上述"大數據三問"，也並非一定算得上優秀，卻也離優秀的大數據應用不遠了。尋找數據密集型領域既然大數據被視為一種資源，那就要考慮資源分布的問題。一般而言，資源分布是極不均勻的，如水、礦產、耕地、能源等自然資源;人力資源和知識的分布更是不均。大數據是否也存在分布不均的問題?發展大數據產業是否真的能彎道超車?這些問題值得深入思考。與可以探測的自然資源不同，數據資源分布難以定位和刻畫。不過，可以用大數據人力資源分布狀況來間接反映大數據應用在地區、行業間的差異，哪些行業、哪些地區大數據人力資源密集，這些行業和地區就可以看作是數據密集的。我們對兩家主流招聘網站"前程無憂"和"智聯招聘"2014年下半年以來發布的招聘信息進行篩選，得到兩家網站兩年來共發布相關信息涉及企業22.7萬家，職位100.7萬個，數據量確實足夠"大"。通過分地區、分行業進行匯總分析，結果顯示大數據人力資源分布極不均勻，各地區、各行業差異極大。不過，確切來說，通過招聘網站反映的是人才需求情況，並不是嚴格意義上的人力資源存量分布情況，但這兩者是緊密相關的。從大數據相關崗位工作地來看，北京、廣東、上海三地高度密集，遙遙領先於其他地區。三地相加，發布招聘信息企業數在兩家網站佔到52.35%和47.48%，職位數佔到61.23%和56.74%。可以推測，大數據人力資源的半壁江山都集中在這三個地方，這與我們平時的直觀感受是高度一致的。在這三個地方之外，我們關心是不是地方政府重視大數據產業、將大數據作為區域經濟發展引擎，就可能促進人力資源集聚，就可能超越與自己相似經濟發展水平的其他地區。從數據反映情況看，至少目前還看不到這樣的結果，這揭示出人力資源結構是後發地區發展大數據產業最需要彌補的短板和最難克服的困難。改變一個地方人力資源構成的難度要遠遠大於改變地面建築面貌，要麼需要一個長期的過程，要麼需要一個獨特的制度。即便在同一省份內，大數據人力資源分布也極為不均。例如在廣東，單深圳一市就大體佔到了全省的一半。再加上廣州，竟然能夠達到九成。其他地方，即使經濟實力不俗，但與深圳、廣州相比，在大數據人力資源方面相差甚遠。這再次表明，大數據人力資源分布是極不均勻的。顯然，大數據人力資源密集地區發展大數據產業的基礎要優於人力資源貧瘠的地區。從城市排名看，北上深廣可以視作大數據人力資源需求密集的一線城市，杭州、南京、成都、武漢、西安等可以看作二線城市。大數據人力資源分布與城市經濟實力、活力乃至房價水平都是大體一致的。從行業分布看，對大數據人力資源的需求分布更不均勻，主要集中在互聯網、信息技術及計算機相關行業。這充分說明了大數據是互聯網或IT產業的一部分，是在原有基礎上的新發展。這些行業是典型的"數據密集型"行業，是大數據產業發展的搖籃。金融是另一個特別重要的"數據密集"領域。金融行業既是產生數據尤其是有價值數據的基地，又是數據分析服務的需求方和應用地。更為重要的是，金融行業具備充足的支付能力，將是大數據產業競爭的重要戰場。許多大數據是通過在金融領域的應用輻射到了各個行業。除此之外，電信、專業服務(如咨詢、人力資源、財會)、教育培訓、影視媒體、網路游戲等，相對而言也是當前數據較為密集的行業。《大數據綱要》幾乎面面俱到地對所有行業和領域都規劃了大數據應用的廣闊前景，但數據資源分布極為不均，在"數據密集"領域的大數據應用，取得市場成功的可能性較大。大數據需要什麼樣的產業政策大數據應用需要什麼樣的產業政策?從應用的角度來看，大數據並非一個全新的產業，而是與已有產業融合，對已有模式的改造、升級和替代。制約大數據發展的往往並不是大數據本身，而是大數據所應用的行業和領域原本存在的問題，如行業管制、行政壟斷、要素不能自由流動，等等。因此，促進大數據發展，用給地、貼錢、上項目的方法，並不能解決根本問題。要從大數據應用領域角度，對不當的行業管理模式進行改革，對既有利益格局進行調整，使大數據應用具備必要的條件。即使在企業內部，大數據應用也不僅僅是個技術問題，而是涉及業務流程重組和管理模式變革，是對企業管理能力的一個考驗。金融、電信、教育、影視媒體等"數據密集型"行業，既是大數據應用潛力巨大的領域，也是迫切推進行業改革的重點領域。另一方面，大數據的應用也可以為行業改革提供技術支撐，能以更有效的技術路線實現行業發展目標。
大數據應用需要的產業政策其實就是市場經濟下各個行業發展所應有的政策，如放開准入、公平競爭、減輕企業負擔、消除企業所有制歧視、消除企業規模歧視，等等。只有在一個開放的產業環境中，大數據才能在這些產業得以有效運用。一個地方若要在金融、醫療、教育等領域大力推動大數據運用，最管用的政策就是對這些行業進行有力的改革。

㈡ 大數據關鍵技術解析

大數據關鍵技術解析

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。 一、大數據採集技術

數據採集是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。

大數據採集一般分為大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。

二、大數據預處理技術

主要完成對已接收數據的辨析、抽取、清洗等操作。1)抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。2)清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。

三、大數據存儲及管理技術

大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。

開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。

開發大數據安全技術。改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

四、大數據分析及挖掘技術

大數據分析技術。改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

從挖掘任務和挖掘方法的角度，著重突破：1.可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。2.數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。3.預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。4.語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。5.數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

五、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用於以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

以上是小編為大家分享的關於大數據關鍵技術解析的相關內容，更多信息可以關注環球青藤分享更多干貨

㈢ 大數據在未來有什麼樣的發展趨勢_大數據的未來發展前景

大數據的未來發展趨勢主要有以下幾點：趨勢一：數據資源化

何為資源化，是指大數據成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與雲計算的深度結合

大數據離不開雲處理，雲處理為大數據提供了彈性可拓亂櫻寬的基礎設備，是產生大數據的平台之一。自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一起助力大數據革命，讓大數據營銷發揮出更大的影響力。

趨勢三：科學理論的突破

隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智慧等相關技術，可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。

趨勢四：數據科學和數據聯盟的成立

未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。與此同時，基於數據這個基礎平台，也將建立起跨領域的數據共享平台，之後，數據共享將擴展到企業層面，並且成為未來產業的核心一環。

趨勢五：數據泄露泛濫

未來幾年數據泄露事件的增長率也許會達到100%，除非數據在其源頭就能夠得到安全保障。可以說，在未來，每個財富500強企業都會嘩陸叢面臨悉孫數據攻擊，無論他們是否已經做好安全防範。而所有企業，無論規模大小，都需要重新審視今天的安全定義。在財富500強企業中，超過50%將會設置首席信息安全官這一職位。企業需要從新的角度來確保自身以及客戶數據，所有數據在創建之初便需要獲得安全保障，而並非在數據保存的最後一個環節，僅僅加強後者的安全措施已被證明於事無補。

趨勢六：數據管理成為核心競爭力

數據管理成為核心競爭力，直接影響財務表現。當「數據資產是企業核心資產」的概念深入人心之後，企業對於數據管理便有了更清晰的界定，將數據管理作為企業核心競爭力，持續發展，戰略性規劃與運用數據資產，成為企業數據管理的核心。數據資產管理效率與主營業務收入增長率、銷售收入增長率顯著正相關;此外，對於具有互聯網思維的企業而言，數據資產競爭力所佔比重為36.8%，數據資產的管理效果將直接影響企業的財務表現。

趨勢七：數據質量是BI(商業智能)成功的關鍵

採用自助式商業智能工具進行大數據處理的企業將會脫穎而出。其中要面臨的一個挑戰是，很多數據源會帶來大量低質量數據。想要成功，企業需要理解原始數據與數據分析之間的差距，從而消除低質量數據並通過BI獲得更佳決策。

趨勢八：數據生態系統復合化程度加強

大數據的世界不只是一個單一的、巨大的計算機網路，而是一個由大量活動構件與多元參與者元素所構成的生態系統，終端設備提供商、基礎設施提供商、網路服務提供商、網路接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態系統。而今，這樣一套數據生態系統的基本雛形已然形成，接下來的發展將趨向於系統內部角色的細分，也就是市場的細分;系統機制的調整，也就是商業模式的創新;系統結構的調整，也就是競爭環境的調整等等，從而使得數據生態系統復合化程度逐漸增強。

㈣ 運營商大數據對外價值變現的十大趨勢

作者 | 傅一平

來源 | 與數據同行

最近中國移動提出了DICT戰略，顯示其在政企市場進一步拓展的雄心，在這個背景下，重新探討下運營商的大數據變現很有意義。雖然近半年「大數據圈」似乎有點風聲鶴唳，但對於合法合規的進行大數據業務的企業來講沒有什麼影響。

下面筆者就結合自身實踐，給出未來2-3年運營商大數據價值變現的十個趨勢判斷，僅代表個人看法，希望於你有所啟示。

1、行業服務邊界不斷拓展

依託於運營商潛力巨大的數據資源和政企市場渠道資源，經過多年的市場培育和拓展，當前運營商大數據業務從原來的金融、旅遊等行業逐步拓展到政府、旅遊、交通、教育、商業、招聘、醫療等各個各業。

運營商ICT業務在推進中，也孕育了不少大數據業務的商機，大數據業務則反過來促進了ICT業務的發展，因為大數據除了業務價值，還有一定的社會品牌效應，兩者通過融合可以形成合力。

隨著企業數字化轉型的加快及產業互聯網的崛起，作為未來社會基礎設施的大數據，將與雲計算、人工智慧、物聯網、區塊鏈一起，在行業領域開疆擴土，其應用的邊界幾乎是無限的。

2、進入行業應用的深水區

大數據在行業領域擁有著巨大的潛力並不意味著運營商就能分得多少杯羹。雖然運營商大數據業務當前在金融、旅遊等行業已經有所斬獲，但這些行業低垂的果實基本要被摘光了。

以金融為例，4-5年前運營商切入的驗真，失聯觸達等業務，當前仍然是運營商大數據變現的主力，但金融行業並未如運營商原先預料的那樣，在貸前、貸中、貸後中給予運營商更多的機會，運營商很多變現業務模式的拓展基本是停滯的，起碼不夠快。

在大量的其他行業領域，運營商往往只能做到蜻蜓點水，而無法聚沙成塔，比如業務的復購率很低。

從定性的角度講，運營商對於行業的理解還是比較淺的，其大量的行業應用遊走在企業的核心生產流程之外，大數據似乎是奢侈品，而不是必需品，因此粘性是不夠的。

以金融驗真這個業務為例，其附加值並不高，且容易被替代，想想這幾年對於金融行業的理解又增加了多少呢？這些都是需要反思的地方。

筆者曾經在智慧交通相關文章中提到：運營商的數據在很多領域其實是很有前途的，但必須深耕，要理解這個行業的業務，通曉這個行業的演算法，不停的打磨產品，從而逼近核心。

可以這么說，運營商大數據將很快進入行業應用的深水區，為了順應這個趨勢，運營商需要建立專業化的組織去攻堅克難，挑戰很大。

3、與互聯網公司的競爭加劇

互聯網應該沒有把運營商當成主要的大數據競爭對手，但運營商進入這個領域會跟互聯網公司形成事實上的競爭，無論是新零售，智慧交通等等，進入者都會感受到互聯網巨頭的壓力。

比如運營商要為大型商超提供數據服務，但互聯網公司早就捷足先登，新零售是互聯網出的概念，當運營商還在進行自身渠道的艱難轉型時，互聯網公司線下商業的版圖已經規劃好了，當然也包括了大數據業務。你到商超談，人家一開口就提XX通怎麼樣怎麼樣。

當然還不僅僅是這些。

無論是互聯網公司在To G上自頂向下的推廣策略，還有諸如城市大腦單一采購來源的霸氣，都在說明巨型互聯網公司在這些領域的影響力。

運營商要獲得機會，得動用一切可用的資源，發揮自己數據的差異化價值，由點及面去尋找機會。實踐證明，管道數據的價值是巨大的，但巨型互聯網公司的數據也越來越好，這是不得不面對的現實。

4、從要素驅動向要素+能力驅動轉型

運營商當前在大數據變現上的突破只能說摘取了低垂的果實，但這種通過簡單數據加工形成的數據產品競爭力是不夠的，也是不可持續的。

比如做智慧交通，如果位置精度和覆蓋度不夠，連速度都測不準，根本做不出高質量的數據產品。

應該來講，運營商從來就沒有現成的、高精度的、可以到用戶級別的位置數據，粗精度的原始位置數據未來可能連支撐運營商自己的業務轉型都不夠，運營商需要充分挖掘現有位置數據的潛力，通過建模等方式把較為精準的位置模型做出來，才能有基本的大數據變現底蘊。

位置精度的提升雖然是一小步，但卻是對外大數據變現的一大步。位置准了，運營商對於人們整個線下生活的理解就准了，無論是客流，路網，OD等等都不再話下。

現在運營商依靠數據資源這個要素能走出第一步是不錯的，但光靠資源驅動已經不夠了，能力必須過來接棒，沒有能力加持的運營商大數據變現前景暗淡。

因此，運營商大數據變現未來不再是躺著掙錢，而是要從原始數據的驅動向數據+能力雙驅動轉型，這個能力包括人才、技術、數據、產品、運營等等，這是不容置疑的。但如果只是空喊著口號不敢探索嘗試，則也許連能力提升的機會都沒有。

5、持續強化大數據合作的生態

大數據變現從底向上涉及平台、數據、建模、產品、方案、渠道、咨詢、運營、安全等一系列的內容，運營商無法一手包辦，因此必須建立合作的生態。

從業務的角度看，缺乏渠道合作夥伴、缺乏行業解決方案對於運營商都是很現實的挑戰，最大的痛苦莫過於不知道商機在哪裡，不知道自己想做的這個數據或產品有沒有前途。運營商不可能瞬間將現有的客戶經理隊伍轉為數字化產品的銷售隊伍，畢竟知識結構的要求不一樣。

雖然可以採取MVP的方式推進，但一方面試錯的成本擺在那裡，運營商也並沒有資本為其背書，另一方面時間成本也大了點。現在很多運營商都有合作夥伴招募計劃，這是很好的嘗試，但符合要求的合作夥伴還是太少了。

從開放的角度看，中國移動的夢網曾經創造過輝煌，但開放這句口號不是隨便喊喊的，你得建立一套標准，清晰的告訴別人你有什麼能力，然後如何能方便的接入。

比如當我們在互聯網大會展示城市實驗室產品的時候，發現仍然有那麼多的人驚訝於運營商竟然還能做這個，就說明我們在開放這條道上還有很長的路要走。

而當筆者第一次訪問阿里雲網站的時候，其較好的使用體驗給我留下了深刻的印象，隨後定期的營銷推送起碼說明是用心的，又比如筆者第一次使用騰訊雲域名申請時，其後騰訊雲客服的電話調研也是很及時的。

因此，能否跟更廣泛的合作夥伴建立連接，能否建立起開放的平台，能否確保信息的安全，在很大程度上決定了運營商大數據變現的蛋糕能做多大。

6、通過集中化獲得溢價能力的趨勢將加強

由於歷史原因運營商的大數據實際是分省存儲和運營的，這跟互聯網公司天然的集中統一的數據基因是完全不同的。雖然一些運營商在集中化上做了很多努力，但相對互聯網公司，還是有一些差距。

各省本地化做一些產品雖然帶來了靈活性，但造成了事實上的重復開發，這種模式在創新階段其實沒什麼問題，但最大的問題是各個省能否有足夠的資源去保證產品的持續優化，無論從數據的角度，還是從運營的角度看，我們都需要一定的集約化機制來確保高效低成本的運作。

但這還僅僅是一個方面。

另一方面，相較互聯網，由於數據的割裂，運營商基於單個省的數據做出的產品溢價能力不高，往往只能服務於特定區域，在很多競爭中會處於劣勢，比如當前運營商基於位置數據的應用很多，但為什麼上網數據的變現卻很少呢？

這個不僅僅是簡單的https問題，更是因為客戶對於上網數據的訴求基本是全國的，沒有地域的概念，這讓運營商失去了很多突破的機會。

因此，運營商的大數據在一個省創新後迅速全網復制是一直要堅持的策略，而基於集中化的數據進行創新是提升產品競爭力的一個關鍵。

7、運營商DICT戰略將使得大數據獲得更大支持

隨著數字經濟的發展和行業數字化的進步，傳統產業轉型升級的需求強勁，運營商和雲服務提供商，均在強化雲、網、端、邊協同，推出「雲+網+DICT」智能化解決方案，幫助企業實現更深層次的數字化轉型。

運營商的政企2B市場是當前關注的焦點，而雲+DICT（DT+CT+ICT+IDC）又是其中的關鍵，這意味著未來各種資源會逐步會向DICT傾斜，大數據需要抓住這個機會，通過DICT的融合來促進大數據業務的規模化發展，所謂「借勢」。

另外，當前三大運營商已經宣布了5G商用，中國移動也發布了了「5G+」計劃，其中包括「5G+AICDE」計劃，「5G+AICDE」是將5G作為接入方式，與人工智慧（AI）、物聯網（IoT）、雲計算（Cloud Computing）、大數據（Big Data）、邊緣計算（Edge Computing）等新興信息技術深度融合，准備打造以5G為中心的泛智能基礎設施。

5G時代人和物、物和物之間的連接產生的數據類型將會更多，5G更密集的基站布點意味著更高的定位精度，5G業務形式更加多樣意味著管道中的數據內容會爆發性增加，運營商對於客戶行為的刻畫能力將進一步加強，每項垂直5G行業應用都將會與大數據有著千絲萬縷的關系，這些對於運營大數據的發展是利好。

8、日益趨緊的數據安全要求對於運營商既是挑戰也是機遇

運營商雖然擁有海量的數據，但很多省公司並未實質性的開展大數據業務，很多是基於安全的考量。即使是正在開展大數據變現業務的運營商省份，合規合法經營也是其開展大數據業務的底線，運營商對於大數據的業務創新是相對保守的。

事實上，運營商當前能開展的各項大數據新業務，都需要經過內部極其嚴格的法律、安全多道審核，加上行業、集團、省出台的各種安全管理規范的約束，還有定期的安全檢查，都讓運營商大數據業務從一出生就經歷著內部一輪輪的安全洗禮。

2019年持續發酵的各種信息安全事件讓大數據圈似乎如履薄冰，但其打擊的還是各種違法經營和黑市交易。事實上，經過新一輪的洗盤，運營商也許會面臨較以往更好的商業環境，數據可能會變得更為稀缺，畢竟以前黑市的數據交易會導致良幣驅逐劣幣的現象，當然這也只是一種猜測。

可以肯定的是，未來國家對於信息安全管控的趨緊會使得大數據業務的創新變得更具挑戰性，但合規合法的進行大數據價值挖掘，助力中國經濟高質量發展始終是主流，運營商雖然會面臨安全上的挑戰，但也有更多的機會。

9、運營商大數據對於TO C業務的探索不會停止

互聯網公司TO C業務前期是靠錢燒出來的，畢竟消費者是趨利的，擁有高體驗的產品和一定基礎的用戶後，互聯網公司才有了珍貴的海量數據，這個時候大數據才有用武之地，反過來賦能業務發展，這是互聯網公司應用大數據的本質。

運營商天然就有大數據，但大數據變現的實踐還是告訴我們，運營商的數據維度還是不夠豐富，比如缺乏消費數據，而巨型的互聯網公司通過應用的豐富不斷積累著更多維度的數據。

事實上，當前運營商的數據維度拓展基本是停滯不前的，如果不加以改善，在不久的將來，運營商的數據優勢會逐步變小，最終會影響到產品的競爭力。

現在運營商建立了很多專業公司，比如中國移動的咪咕，有人會質疑這些公司能否賺錢，姑且不從戰略的角度思考這個問題，即使站在大數據的角度看，這些公司的拓展能夠讓運營商擁有更豐富的數據，這就很有價值。最近中移金科成立了，支付數據對於DT有多重要不用解釋吧，因此意義是很深遠的。

其實做大數據產品的，哪個沒有點TO C的夢想？希望運營商能基於自己的資源優勢，結合大數據的差異化特點，能夠打造出真正的既賣座又叫好的TO C產品。

10、運營商對於低價值密度的大數據處理能力要求會大幅提升

運營商的DPI數據具有典型的大數據特徵，有潛力但價值密度低，但這個數據是運營商除位置數據以外最珍貴的數據，很多人說這個數據在運營商變現中實際沒啥應用場景，或者言必稱https，那是比較業余的說法。

隨著5G時代的到來，對於DPI數據的有效開採挖掘對於運營商大數據變現是核心的基礎工作之一。

首先，DPI這個技術原生是為網路優化服務的，比如很多欄位對於數據變現沒有價值，能否考慮更高性價比的處理手段？這個就需要運營商針對性的進行研究，比如從客戶洞察、精準營銷和價值變現的角度去高效低成本的採集管道中的數據。

其次，5G海量、低延時、非結構數據的特點，將進一步促進數據存儲、處理和分析技術的進步，即使是當前的4G，從採集到應用的時延也是比較高的，很難達到場景式營銷的要求，而且保留的周期也非常有限。

最後，5G大數據的價值密度將進一 步降低，對AI的能力要求將更高，即使是針對當前的4G數據，運營商的NLP等能力儲備也是不夠的，因此要盡快補足短板。

當然，以上十個趨勢只是筆者的個人判斷，受限於自己的能力和視野，以上談的肯定有很多不到位的地方，權當筆者拋磚引玉，如果能引發一點思考，那就更好了。

㈤ 2021年我國大數據行業發展現狀如何

我國大數據產業開始已進入深化階段

中國大數據產業從萌芽到如今漸成體系，已走過將近10個年頭。「十四五」開局之年，大數據產業也進入了集成創新、深度應用的新階段。大數據在醫療、工業、交通等領域的融合應用技術加快創新突破，大數據融合應用重點從虛擬經濟轉變為實體經濟;大數據底層技術方面，信息安全、模式識別、語言工程、計算機輔助設計、高性能計算等加快突破，大數據技術領域逐漸補齊短板，並進一步強化長板。

—— 更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》

㈥ 實現商業突破的關鍵點—大數據

實現商業突破的關鍵點—大數據
大數據可以說是近來年最火熱的一個話題。微博等社交化媒體因其獨特的開放性特徵，也成為大數據利用最令人關注的領域。
而這兩年，隨著微博、微信等社交平台商業化嘗試的深入，及其結果的不盡如人意，大數據的利用成為了一個能否實現商業化實質突破的關鍵點。而這個點的關鍵又在於社交平台是否能做到對大數據的真正開放。
對於社交平台大數據開放，行業關注點現在主要在集中在兩方面：其一是社交平台大數據究竟價值幾何？其二，是基於這一大數據，平台方能給出怎樣的的全面開放政策，以及這類政策的持續和穩定性又如何。
社交平台的數據價值
要了解社交平台大數據的價值，首先要搞清楚的是，開放平台合作夥伴們是如何利用這一大數據的。
化繁為簡，我們將其概括為三步：首先是對平台所產生的龐大數據進行分析；然後，通過分析獲得數據背後的用戶訴求；最後，針對用戶訴求進行個性化、精確化和智能化的信息推送和服務推廣，並最終實現吸引用戶點擊、消費的目標。
舉個簡單例子，比如有用戶在微博分享地理位置、景點等信息時，其廣告模塊就會快速精準的為其推薦相關的機票、酒店等信息。
而實現這一所有流程的起始點，就在於用戶在社交網路上的生活化分享。而這也正是社交網路大數據的價值所在。
此外，企業通過社交大數據的分析和處理，還可以低成本的進行輿論監控，極大降低了企業品牌危機產生和擴散的可能。
開放尺度定成敗
大數據的價值只是基礎，要實現智能營銷，一個重要層面還在於第三方能從多大程度上利用到這一數據進行挖掘。
而這也包含了兩個層面，首先是API開放多樣性，其次是數據的完整性。
在API開放方面，一直以來行業對開放平台期待最多的公司要數新浪。新浪初期也的確不負眾望，給予了第三方開發者近百個API介面，可謂相當豐富。在2012年前後，通過這些介面，也密集涌現出了很多基於新浪微博大數據的創業公司，盛況空前。
然而這種基於開放而聯姻的蜜月期還沒來得及令人回味，新浪對於API開放的態度卻在近期發生了轉變。如在去年，新浪微博便關閉了其開放平台的私信介面，今年更是對開放平台介面做了進一步收緊（對當前授權應用只能讀取授權該應用的當前用戶微博，不能獲取其他用戶微博；同時，當前授權應用只能讀取授權該應用的當前用戶的關系，不能讀取其他用戶的關系。）。
而這種收窄的姿態，在阿里巴巴入股新浪微博之後，愈趨明顯。
眾多開發者表示，其多款應用的數據已被清空或者api介面被停用。現在新浪開放平台的每次更新也是刪的多，增的少，而增加的功能也大多都是可有可無的。
開發作為當下互聯網的一個趨勢（網路、阿里巴巴、騰訊【簡稱BAT】三巨頭都在談開放），新浪微博反其道而行之，當然，新浪對API開放性的收縮，我們要承認其一些深層次的因素考量。比如之前私信埠的開放，就造成大量垃圾信息對用戶的騷擾；以及與阿里聯姻後，來自阿里方面的訴求和壓力等。
與此相比，一直以來不聲不響的騰訊微博倒在開放平台上做出了不少動靜。比如，國內唱吧、啪啪，國外cooliris都選擇了騰訊微博，甚至IOS7系統也首次開放IOS-SDK給騰訊微博。
其次說到開放的完整性，所謂數據完整性就是當開發者請求某種數據時，開放平台是否對返回數據的數量有所限制。這點也最能反映出一個平台的真實開放程度。
以最基本的獲取一個用戶的」粉絲列表「為例，新浪，對於一般授權用戶，最多隻能獲得5000個最新粉絲信息，而騰訊則沒有任何的限制。
騰訊副總裁劉熾平曾在其內部講話中曾提到：「關鍵路徑要有用戶價值，如果沒有用戶價值，這里放一個流量，那裡放一個流量，價值不大。」 而這句話也正點明了大數據開放的本質應該是什麼。
行業皆知，只有數據挖掘精準度在85%以上時，才具備實現精準營銷的條件。如數據挖掘不夠精準，就會直接影響到廣告營銷的投放效果。而數據不完整，數據挖掘的精準度只是空談而已。
而數據完整開放的重要性，還不僅僅限於第三方開放者，對於社交平台本身，在提升用戶體驗方面也息息相關。
比如騰訊微博最近上線的微圈、微熱點、微頻道、微博管家等產品，就是通過數據挖掘技術，抽取用戶閱讀時間線中來自游戲、活動、第三方應用等營銷和廣告微博，並將其過濾，從而進一步減輕垃圾信息對於微博用戶的騷擾，從而使用戶更高效的獲取優質微博信息，最終實現用戶閱讀體驗的提升。
這種將大數據挖掘產品化的路子，應該說值得借鑒。因為一方面，它能比較充分的滿足第三方開發者需求；更重要的是，這並不以影響用戶端的產品體驗為代價，實施得好的話，可形成一個良性閉環模式。

㈦ 全球大數據發展的新動向與新趨勢

全球大數據發展的新動向與新趨勢
目前，伴隨移動互聯網、智能硬體和物聯網的快速普及，全球數據總量呈現指數級增長態勢，與此同時，機器學習等先進的數據分析技術創新也日趨活躍，使得大數據隱含的價值得以更大程度的顯現，一個更加註重數據價值的新時代正悄然來臨。
瑞士洛桑國際管理學院2017年度《世界數字競爭力排名》顯示，各國數字競爭力與其整體競爭力呈現出高度一致的態勢，即數字競爭力強的國家整體競爭力也很強，同時也更容易產生顛覆性創新。實際上，以美國、英國、韓國和日本等為代表的發達國家一向重視大數據在促進經濟發展和社會變革、提升國家整體競爭力等方面的重要作用，當前更是把大數據視為重要的戰略資源，大力搶抓大數據技術與產業發展先發優勢，積極捍衛本國數據主權，力爭在數字經濟時代佔得先機。我們從各國發展大數據的新舉措中或許可以窺探到大數據發展的新趨勢。
美國：穩步實施「三步走」戰略 打造面向未來的大數據創新生態
美國是率先將大數據從商業概念上升至國家戰略的國家，通過穩步實施「三步走」戰略，在大數據技術研發、商業應用以及保障國家安全等方面已全面構築起全球領先優勢。
第一步快速部署大數據核心技術研究，並在部分領域積極開發大數據應用。2012年白宮科技政策辦公室發布《大數據研究發展倡議》，以提升從海量和復雜數據中獲取知識、挖掘價值的能力，進而推動科學與工程領域創新步伐加速。第二步調整政策框架與法律規章，積極應對大數據發展帶來的隱私保護等問題。2014年美國發布《大數據：把握機遇，守護價值》白皮書，再次重申要把握大數據可為經濟社會發展帶來創新動力的重大機遇，同時也要高度警惕大數據應用所帶來的隱私、公平等問題，以積極、務實的態度深刻剖析可能面臨的治理挑戰。第三步強化數據驅動的體系和能力建設，為提升國家整體競爭力提供長遠保障。2016年美國發布《聯邦大數據研發戰略計劃》，形成涵蓋技術研發、數據可信度、基礎設施、數據開放與共享、隱私安全與倫理、人才培養以及多主體協同等七個維度的系統的頂層設計，打造面向未來的大數據創新生態。
特朗普就任美國總統後，對大數據應用及其產業發展持續關注，並督促相關部門實施大數據重大項目，構建並開放高質量資料庫，強化5G、物聯網和高速寬頻互聯網等大數據基礎設施，促進數字貿易和跨境數據流動等。2017年4月美國能源部與退伍軍人事務部聯合發起「百萬退伍軍人項目（MVP）」，希望藉助機器學習技術分析海量數據，以改善退伍軍人健康狀況。2017年9月醫療保健研究與質量局發布美國首個可公開使用的資料庫，其中包括全美600多個衛生系統。白宮科技政策辦公室一直積極與他國展開合作，以預防數字經濟監管障礙、促進信息流動和反對數字本地化等。
英國：緊抓大數據產業機遇 應對脫歐後的經濟挑戰
大數據發展初期，英國在借鑒美國經驗和做法的基礎上，充分結合本國特點和需求，加大大數據研發投入、強化頂層設計，聚焦部分應用領域進行重點突破。近期英國特別重視大數據對經濟增長的拉動作用，密集發布《數字戰略2017》《工業戰略：建設適應未來的英國》等，希望到2025年數字經濟對本國經濟總量的貢獻值可達2000億英鎊，積極應對脫歐可能帶來的經濟增速放緩的挑戰。
2012年，英國便將大數據作為八大前瞻性技術領域之首，一次性投入1.89億英鎊用於相關科研與創新，在八大領域投入總額中佔比高達38.6%，遠超其餘七個領域。隨後，英國將全方位構建數據能力上升為國家戰略，於2013年發布《把握數據帶來的機遇：英國數據能力戰略規劃》，提出人力資本（研發人才與善於運用數據的民眾）、基礎設施和軟硬體開發能力，以及豐富開放的數據資產是發展大數據的核心，事關能否在未來競爭中占據領先優勢。該戰略同時提出了11項具體行動部署，短短兩三年便釋放出巨大的數字潛力。從2010年至2015年，數字經濟對英國經濟增加值的貢獻增長了21.7%，超過了同期經濟增加值增長率的17.4%，2015年數字經濟規模為1180億英鎊，在經濟增加值中的佔比超過了7%，其中數字商品和服務出口總值超過500億英鎊。
為從數據中挖掘出更大的價值，創造並維護一個能夠保持更多收益和增長的經濟體系，同時讓全社會都能從中收益，英國政府在2017年3月提出了新時期發展數字經濟的頂層設計《數字戰略2017》。新戰略中提出七大目標及相應舉措，特別是對各個目標都提出了更高標準的要求。一是打造世界一流的數字基礎設施，二是使每個人都能獲得所需的數字技能，三是成為最適合數字企業創業和成長的國家，四是推動每一個企業順利實現數字化智能化轉型，五是擁有最安全的網路安全環境，六是塑造平台型政府，為公眾提供最優質的數字公共服務，七是充分釋放各類數據的潛能的同時解決好隱私和倫理等問題。
2017年11月，英國面向全社會發布《工業戰略：建設適應未來的英國》白皮書，強調英國應積極應對人工智慧和大數據、綠色增長、老齡化社會以及未來移動性等四大挑戰，呼籲各方緊密合作，促進新技術研發與應用，以確保英國始終走在未來發展前沿，實現本輪技術變革的經濟和社會效益最大化。為此，2018年4月底英國專門發布《工業戰略：人工智慧》報告，立足引領全球人工智慧和大數據發展，從鼓勵創新、培養和集聚人才、升級基礎設施、優化營商環境以及促進區域均衡發展等五大維度提出一系列實實在在的舉措。
韓國：以大數據等技術為核心應對第四次工業革命
多年來，韓國的智能終端普及率以及移動互聯網接入速度一直位居世界前列，這使得其數據產出量也達到了世界先進水平。為充分利用這一天然優勢，韓國很早就制定了大數據發展戰略，並力促大數據擔當經濟增長的引擎。2016年年底，韓國發布以大數據等技術為基礎的《智能信息社會中長期綜合對策》，以積極應對第四次工業革命的挑戰。
2013年12月，韓國多部門便聯合發布「大數據產業發展戰略」，將發展重點集中在大數據基礎設施建設和大數據市場創造上。2015年年初，韓國給出全球進入大數據2.0時代的重大判斷，大數據技術日趨精細、專業服務日益多樣，數據收益化和創新商業模式是未來大數據的主要發展趨勢。基於此，在同年發布的《K-ICT》戰略中，韓國將大數據產業定義為九大戰略性產業之一，目標是到2019年使韓國躋身世界大數據三大強國。韓國還非常注重對他國經驗的借鑒，2015年5月中國發布《大數據發展調查報告》後，韓國專門對中國與韓國大數據應用情況進行了比較分析，並聚焦韓國大數據應用水平與大數據市場不協調的問題，提出了一系列新舉措。
近兩年全球第四次工業革命浪潮的到來，倒逼韓國重新審視本國智能製造和信息技術的發展，並於2016年年底提出《智能信息社會中長期綜合對策》，將大數據及其相關技術界定為智能信息社會的核心要素，並提出具體的發展目標與舉措。
一是充分挖掘數據資源價值，強化未來競爭力源頭。構築開放共享的大規模數據基礎設施，到2025年實現320個公共機構的數據開放；促進數據流通和使用，激活數據交易市場，推動公共和民間數據實現以價值為導向的交易；激活數據分析企業，到2020年數據專業服務企業規模達到100家；培養大數據專業人才，將每年培養的數據科學家數量從2017年的500名增長到2030年的1000名；發展區塊鏈技術，提高數據管理可靠性等。二是築牢大數據技術基礎。加強數學方法論研究，長期穩定支持新型學習推斷、量子計算、神經形態晶元等下一代計算技術研究，推動科研大數據開放共享，推進產業數據中心建設，強化產學研合作共同研發產業共性技術等。三是面向數據服務需求，構築超連接網路環境。確保頻率資源供應，有序推進5G商用化進程，實現大規模機器間通信，實現不同業務網路之間的實時超連接；推動通信運營商體系優化，摒除後發企業進入運營行業的壁壘；進一步強化物聯網和雲計算基礎設施並充分利用智能感測器數據；分階段引進量子通信與安全網路等。
大數據發展新趨勢
綜合以上幾個典型國家的新動向和新舉措，可以發現當前及未來全球大數據發展的新趨勢。
一是大數據與人工智慧、雲計算、物聯網、區塊鏈等技術日益融合，成為各國搶抓未來發展機遇的戰略性技術。英國在工業戰略中強調大數據與人工智慧的發展，很有可能推動現有的商品和服務市場被顛覆和取代。日本將大數據、物聯網和人工智慧界定為建設超智能社會服務平台必不可少的共性技術。韓國與日本相似，將智能信息化社會定義為「ICBM（物聯網、雲服務、大數據和手機）與AI（人工智慧）相融合的社會」。
二是大數據資源對各國經濟政治博弈的重要性更加凸顯。美國最新版國家安全戰略中，特朗普再次將「數據」比喻為一種能源，他認為掌握了數據及相關能力，就是為美國經濟的持續增長、有效抵制敵對意識形態以及部署建設最強大軍事力量等構建了最基礎的保障。最近的「臉書危機」事件，再加上近年來「劍橋分析」及其母公司「戰略通訊實驗室」參與多國領導人選舉活動事件，使得大數據資源及相關技術成為某些國家利益集團及企業影響政治生態和社會安全的重要手段，各國政治社會發展面臨的風險變得更加復雜和不可預測。
三是大數據應用基礎條件發生跨越式變化。一方面政府數據開放的廣度和深度將進一步拓寬，多源數據融合技術的進步，為公共服務數字化與智能化水平的提升提供了技術層面的保障，數據的標准化及開放則成為各國建設服務型政府和平台型政府的資源保障。另一方面大數據應用的基礎設施將成為與水電氣暖等相類似的設施，成為人們生活中必不可少的部分。這其中包括物聯網、智能硬體等數據採集類設施，5G、光通信等超高速數據傳輸類設施，以及超級計算機、雲計算以及邊緣計算等計算類設施，以及新型的存儲設施等等。
四是大數據安全為各國實現「平衡」發展帶來更嚴峻的挑戰。各國大數據發展戰略中，不同國家和地區對「數據開放共享」與「個人信息保護」的側重點不同，比如歐盟希望通過強制性的統一標准最大限度的保護個人隱私，而美國則更相對弱化法律約束、希望充分調動企業的主動性，這種態勢對未來全球大數據國際規則的融合發展提出了新難題。同時對大數據企業權利和義務也要進行再平衡，監管太嚴將限制企業創新的腳步，但如果放手太多，在實踐中難免出現企業對個人隱私大規模侵害的問題。

㈧ 大數據面臨的技術挑戰

上周在大數據的趨勢和特點中，說到了人類這次面臨的問題不是問題無法解決，而是問題過於復雜。採用機械思維，其速度和效率已經趕不上新問題的產生。正是在這種分工越來越細，協作越來越緊密，問題越來越復雜的背景下，產生了大數據思維。大數據思維也由其獨特的體量大、多樣性和完備性，使得過去看來很復雜很難處理的問題變得可以解決了。

其實早在20世紀60年代就有研究學者提出採用人工智慧的方法來解決社會問題。當時的人工智慧方法還是局限於通過首先了解人類是如何產生智能，然後讓計算機按照人的思路去做。吳軍老師在《智能時代》中說到：「在人類發明的歷史上，很多領域早期的嘗試都是模仿人或者動物的行為，因為這是我們的直覺最容易想到的方法。」 但是經過十幾年的發展，科學家們發現採用上面的思路去發展人工智慧，似乎解決不了什麼實際問題。很多科學家開始反思人工智慧的發展，而在之後的20年左右的時間，在人工智慧學術界的研究是處於低谷的。20世紀70年代，人類開始嘗試智能的另一條發展道路，即採用數據驅動和超級計算的方法。即便在10年前，那時我還在念書，也曾接觸過人工神經網路演算法。很顯然，當時對機器智能的概念大家都還是比較模糊的，人工智慧也還沒有被我們提高到現在的高度。

機器智能的概念在60多年就被提出來了，真正的突破卻在具有了大數據的今天。為什麼大數據的拐點會發生在今天？大數據到底面臨何種技術挑戰？

過去的10年，最容易看到的特徵就是全球數據量呈爆炸式增長。大數據的第一個來源是電腦本身；第二個來源是感測器；第三個來源是將那些過去已經存在的、以非數字化形式儲存的信息數字化。據2015年思科公司的統計數據顯示，從2009~2015年的6年時間內，企業級數據增長了50倍。當然數據的爆炸式增長，離不開電腦硬體、軟體、互聯網、數據儲存、數據處理等一系列配套技術的發展和支撐。大數據實際上是對計算機科學、電機工程、通信、應用數學和認知科學發展的一個綜合考量。目前這些技術難題不一定有最佳的解決方案，甚至不存在什麼絕對好的解決辦法。

一、數據收集

傳統的數據方法常常是先有一個目的，然後開始收集數據。比如，海王星的發現就是在人們發現天王星運動軌跡和牛頓力學預測出來的不一樣之後，天文學家拍了很多星空的照片後發現的；心理學研究也是在有了一個明確的研究課題後，再通過實驗的方法採集數據，如 「棉花糖測驗」系列實驗，以及關於認知失調的「追隨者案例」等等。大數據則避免了采樣之苦，因為大數據常常以全集（大數據的特徵之一）作為樣本集。

但是，如何收集到全集就是一件很有挑戰的事情了。目前一些聰明公司，比如Google, Facebook, 網路，京東都是繞一個彎子，間接地去收集數據，然後利用數據的相關性，導出自己想要的結論。但是即便是這些如此成功的公司，仍然也有很多失敗的案例。2010年，Google推出了自己的電視機頂盒Google TV，為了獲取數據為進入電視廣告做准備。但是，由於Google TV銷售得很差，最終Google徹底地放棄了這產品。到目前為止，無論是Google過去的機頂盒，還是後來的Chromecast，蘋果的Apple TV，除了統計一下收視率，計算一下可能的廣告觀眾，並沒有什麼大的作為。數據收集是一個開放性的話題，不存在唯一性或最佳方法，目前仍然面臨著很大的挑戰。

二、數據儲存

僅Google街景地圖每天產生的數據量就有1TB，假如一份數據存三個拷貝，一年下來就1PB。即使使用當今最大容量的10TB硬碟，也需要用100個。因此，不能簡單地依靠設備來解決數據儲存的問題，而是需要技術解決方案來提高儲存效率，保證不斷產生出來的數據都能存得下。目前的數據儲存手段主要是從如下2個方面考慮：去除數據冗餘和便於使用。去除數據冗餘可以簡單理解為去除數據中的重復部分，比如同一份附件在所有的郵件中只儲存一次。這樣，在去除數據冗餘的過程中，相應的數據讀寫處理就要改變。是否有比現在更有效率的儲存格式或方式，仍然是大數據所面臨的挑戰。另外，便於使用的思路是從使用者的角度就去考慮數據的儲存。大數據之前，數據在設計文件系統的數據儲存格式時，主要考慮的是規模小、維度少的結構化數據。到了大數據時代，不僅數據量和維度都劇增，而且大數據在形式上也沒有固定模式，因此需要重新設計通用、有效和便捷的數據表示方式和儲存方式。

三、數據處理

大數據由於體量大、維度多，處理起來計算量巨大，其處理效率是一大技術挑戰。並行計算是目前解決計算量巨大的重要手段，但仍然存在一些的問題。例如，任何一個問題總用一部分計算是無法並行計算的，這類計算佔比越大，並行處理的效率就越低；再次，並行計算中無法保證每一個小任務的計算量是相同的，這樣一來，並行計算的效率也會大打折扣，即完成了自己計算任務的伺服器需要等待個別尚未完成的伺服器，最終的計算速度取決於最後完成的子任務。

四、數據挖掘

如何從一堆雜亂無章的數據中挖掘出有價值的信息，是機器智能的關鍵，也是大數據的使命。數據在進行降噪處理之後，基本就可以直接使用了，接下來的關鍵一步就是機器學習。目前廣泛使用的機器學習演算法有人工神經網路演算法、最大熵模型、邏輯自回歸等。Google公司的AlphaGo的訓練演算法就是人工神經網路。機器學習的過程是一個不斷迭代、不斷進化的過程，只要事先定出一個目前，這些演算法就會不斷地優化模型，讓它越來越接近真實的情況。尋找更優演算法一直也是科學家們探索的難題。

五、數據安全

大數據應用的一個挑戰還來自數據安全的擔憂和對隱私的訴求。2014年爆出的索尼公司丟失數據時，造成的損失高達1億美元。比商業數據丟失後損失更大的是醫療數據的被盜。在中國，除了在北京建立了大數據中心，還在貴陽建立了大數據災備中心，而且正籌備在內蒙古再建立另一個數據災備中心。而關於數據隱私，我想大家應該是深有感觸，由於信息泄露而帶來的騷擾電話以及電信詐騙，就發生在我們每個人身上。據《智能時代》中記載：「在美國的黑市上，一個醫療記錄的賣家是商業數據的50倍左右」。可見，數據安全已然成為大數據發展的一大隱患和難題。

上述大數據5個方面的技術挑戰並不是獨立的，而是相輔相成、互相影響的。關於大數據的技術挑戰在此僅談談個人的一點認識，希望對大家在這方面的思考有所幫助。下周我們繼續聊，大數據給我們帶來便利以及隱患。

㈨ 目標清晰任務明確 大數據迎來大發展

目標清晰任務明確 大數據迎來大發展

業內專家分析認為，《綱要》的發布和實施，對於促進中國大數據產業和互聯網新經濟的持續健康發展將產生深遠的影響，中國大數據產業將進入一個5到10年的穩步發展期，產業化進程將顯著加快。而各類金融機構在支持大數據產業發展的過程中，也將獲得創新金融服務、加快自身轉型升級的新機遇。

經國務院總理李克強簽批，國務院日前正式印發《促進大數據發展行動綱要》（以下簡稱《綱要》），系統部署大數據發展工作。業內專家分析認為，此次發布的《綱要》，與7月初國務院發布的《關於積極推進「互聯網＋」行動的指導意見》，構成規范發展中國互聯網新經濟發展和社會轉型升級的「姊妹篇」，其發布和實施對於促進中國大數據產業和互聯網新經濟的持續健康發展將產生深遠的影響。

促進大數據發展意義深遠

大數據是以容量大、類型多、存取速度快、應用價值高為主要特徵的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行採集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。

當今全球，信息技術與經濟社會的交匯融合引發了數據迅猛增長，數據已成為國家基礎性戰略資源，大數據正日益對全球生產、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力產生重要影響。

目前，我國互聯網、移動互聯網用戶規模居全球第一，擁有豐富的數據資源和應用市場優勢，大數據部分關鍵技術研發取得突破，涌現出一批互聯網創新企業和創新應用，一些地方政府已啟動大數據相關工作。堅持創新驅動發展，加快大數據工作部署，深化大數據應用，已成為穩增長、促改革、調結構、惠民生和推動政府治理能力現代化的內在需要和必然選擇。

適應全球化的新趨勢，制定和實施《綱要》，清楚地表明促進大數據發展已上升為新的國家發展戰略，該戰略的實施具有深遠的歷史意義。

促進大數據發展，將為經濟轉型發展提供新動力。以數據流引領技術流、物質流、資金流、人才流，將深刻影響社會分工協作的組織模式，促進生產組織方式的集約和創新。大數據推動社會生產要素的網路化共享、集約化整合、協作化開發和高效化利用，改變了傳統的生產方式和經濟運行機制，可顯著提升經濟運行水平和效率。大數據持續激發商業模式創新，不斷催生新業態，已成為互聯網等新興領域促進業務創新增值、提升企業核心價值的重要驅動力。

促進大數據發展，使我們抓住了重塑國家競爭優勢的新機遇。充分利用我國的數據規模優勢，實現數據規模、質量和應用水平同步提升，發掘和釋放數據資源的潛在價值，有利於更好地發揮數據資源的戰略作用，增強網路空間數據主權保護能力，維護國家安全，有效提升國家競爭力。

促進大數據發展，將成為提升政府治理能力的新途徑。大數據應用能夠揭示傳統技術方式難以展現的關聯關系，推動政府數據開放共享，促進社會事業數據融合和資源整合，將極大提升政府整體數據分析能力，為有效處理復雜社會問題提供新的手段。建立「用數據說話、用數據決策、用數據管理、用數據創新」的管理機制，實現基於數據的科學決策，將推動政府管理理念和社會治理模式進步，加快建設法治政府、創新政府、廉潔政府和服務型政府，逐步實現政府治理能力現代化。

促進大數據產業健康發展

《綱要》明確提出了促進大數據發展的指導思想以及未來5到10年逐步實現的目標，並對三方面的主要任務作了具體部署。這三方面的任務是，一要加快政府數據開放共享，推動資源整合，提升治理能力；二要推動產業創新發展，培育新興業態，助力經濟轉型；三要強化安全保障，提高管理水平，促進健康發展。

業內專家認為，在各項任務中，促進大數據產業持續健康發展，具有更為關鍵的影響和作用。事實上，《綱要》明確提出了「促進大數據產業健康發展」的方針。對此，相關各方要高度重視和積極落實。

實施大數據行動計劃是一項龐大的社會系統工程，包括了對大數據的搜集、分類、整理、分析、加工，使其成為供社會和市場各方主體可用的「半成品」、「成品」和「方案」等。在這個繁雜的社會分工和協作過程中，將形成成熟的大數據產業及體系，包括各種大數據平台及生態體系，並與互聯網新經濟有機地融合為一體。

中國電子信息標准化研究院有關負責人日前透露，國家標准委正在著手制定首批共10項大數據標准，即大數據術語、大數據技術參考模型、數據交易平台交易數據描述、數據交易服務平台通用功能要求、數據能力成熟度評價模型、多媒體數據語義描述要求、科學數據引用、數據溯源描述模型、數據質量評價指標和通用數據導入介面規范。其中，前4項處在徵求意見狀態，中間4項已完成草案，最後兩項還在草案大綱階段。另外，大數據標准體系框架也已處於徵求意見階段。

業內人士分析指出，在《綱要》發布實施和上述標准頒布之後，中國大數據產業將告別「跑馬佔地式」發展階段，進入一個5到10年的穩步發展期，大數據產業化進程將顯著加快。

金融支持與

大數據產業發展形成雙贏

金融是現代經濟的核心，大數據產業發展離不開金融的支持，而金融的大力支持將形成金融與大數據產業發展互動雙贏的新格局。

為促進大數據發展，《綱要》明確了7個方面的政策機制，其中第5項是加大財政金融支持，包括：利用現有資金渠道，推動建設一批國際領先的重大示範工程；鼓勵金融機構加強和改進金融服務，加大對大數據企業的支持力度；鼓勵大數據企業進入資本市場融資，努力為企業重組並購創造更加寬松的金融政策環境；引導創業投資基金投向大數據產業，鼓勵設立一批投資於大數據產業領域的創業投資基金。

這些政策機制的創新和實施，將給金融業包括銀行、證券、保險、租賃等機構帶來創新金融服務、加快自身轉型升級的新機遇，各類金融機構在支持大數據產業發展和運用大數據的過程中，必將形成與大數據產業持續發展互動雙贏的新格局。

以上是小編為大家分享的關於目標清晰任務明確 大數據迎來大發展的相關內容，更多信息可以關注環球青藤分享更多干貨