加拿大利用大數據反恐

A. 大數據的挑戰和局限

大數據的挑戰和局限
每個人都知道互聯網改變了企業經營、政府運作以及人們生活的方式。但是一種新的、不那麼明顯的技術趨勢卻有著同樣巨大的變革能力，那就是「大數據」。大數據的趨勢發端於下面這個事實：如今到處傳播的信息比以往任何時候都多出了許多，而且這一趨勢正在應用於非同尋常的新用途。大數據與互聯網截然不同，雖然互聯網使數據的收集和共享方便了很多。大數據的意義並不僅僅是通信：其本質是我們可以從大量的信息中學習到從較少量的信息中無法獲取的東西。
將改變人類思考方式
早在公元前3世紀，亞歷山大圖書館被認為收藏了全部的人類知識。而如果把當今全世界的信息平分給每一個活著的人，那麼每個人擁有的信息量將足足超過當年亞歷山大圖書館全部藏書的320倍。如果把所有這些信息刻到光碟上並且分五摞疊起來的話，那麼這些光碟可以一直堆到月球。
這種數據爆炸是相對新鮮的現象。僅僅在2000年的時候，全世界全部的存儲信息中還只有四分之一是數字化的，其餘的都保存在紙張、膠片和其他模擬介質上。但是由於數字數據數量的增長十分迅速——幾乎每三年就翻一番，這種情形很快發生了逆轉。如今，在所有存儲信息中只有不到2%是非數字化的。
鑒於如此懸殊的比例，人們免不了在理解大數據的時候僅僅從數量上進行考慮。然而這將會產生誤導。大數據的另一個特徵是它能夠用數據來表現世界的眾多層面，而這些層面以往從來都沒有被量化過——這種特徵可以被稱為「數據化」。例如，位置信息的數據化最早是由於經緯度的發明，而最近又有了GPS。當計算機對幾個世紀內的書籍進行取樣時，文字便成了被處理的數據。甚至連友誼和愛好也被數據化了——例如通過Facebook。
藉助於廉價的電腦內存、高性能處理器、智能演算法、聰明軟體以及從基本統計學中借鑒來的數學知識，這樣的一類數據正在被應用於難以置信的新用途中。這種新方法並不是試圖「教會」計算機去從事駕駛或翻譯這樣的事情，而是要向計算機輸入足夠多的信息，從而使它們能夠推斷概率，例如交通指示綠燈亮、紅燈不亮的概率，或者是在特定語境下「light」一詞意為「光」而不是「輕」的概率。
以這種方式對大量數據加以利用，要求人們在三個方面徹底改變對數據的態度。第一是收集和使用大量數據，而不是像統計學家們在過去100多年裡所做的那樣，只滿足於少量的數據或樣本。第二是拋棄人們對有條理和純凈的數據的偏愛，轉而接受雜亂無章——在越來越多的情形下，少許的不精確是可以容忍的。第三，在許多場合，人們需要放棄對事情原委的追究，而代之以對相關性的接納。利用大數據，而不是試圖弄懂發動機拋錨或葯物副作用消失的確切原因，研究人員可以收集和分析大量有關此類事件的信息及一切相關素材，找出可能有助於預測未來事件發生的規律。大數據有助於回答是什麼、而不是為什麼的問題——通常有這樣的回答就足夠了。
互聯網重塑了人類交流的方式。大數據則不同：它標志著社會處理信息方式的變化。隨著時間的推移，大數據可能會改變人們思考世界的方式。隨著人們利用越來越多的數據來理解事情和作出決定，人們很可能會發現生活的許多層面是隨機的、而不是確定的。
從因果關繫到相關性
人們看待數據的方式的兩個變化——從局部變為全部以及從純凈變為凌亂——催生了第三個變化：從因果關繫到相關性。這代表著告別總是試圖了解世界運轉方式背後深層原因的態度，而走向僅僅需要弄清現象之間的聯系以及利用這些信息來解決問題。
加拿大的研究人員正在開發一種大數據手段，以便能在明顯症狀出現之前發現早產嬰兒體內的感染。通過把包括心率、血壓、呼吸和血氧水平等16種生命體征轉化成每秒1000多個數據點的信息流，他們已經能夠找到極其輕微的變化與較為嚴重的問題之間的相關性。最終，這項技術將使醫生能夠提前採取行動，從而拯救生命。
大數據所產生的影響將遠遠超出醫學和消費品的范疇：它將深遠地改變政府的運作方式和政治的性質。在推動經濟增長、提供公共服務或進行戰爭等方面，那些能夠有效利用大數據的人將擁有勝過別人的巨大優勢。迄今為止，最令人興奮的成果出現在市級，在這個級別上獲取數據和利用這些信息進行實驗要容易一些。紐約市長邁克爾·布隆伯格（他本人就是靠著數據行業發家的）率先進行了一項努力：該市正在利用大數據改善公共服務和降低成本。其中一個例子就是新的火災預防策略。
非法在屋內打隔斷的建築物著火的可能性比其他建築物高很多。紐約市每年接到2.5萬宗有關房屋住得過於擁擠的投訴，但市裡只有200名處理投訴的巡視員。市長辦公室一個分析專家小組覺得大數據可以幫助解決這一需求與資源的落差。該小組建立了一個市內全部90萬座建築物的資料庫，並在其中加入市裡19個部門所收集到的數據：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴，諸如此類。接下來，他們將這一資料庫與過去5年中按嚴重程度排列的建築物著火記錄進行比較，希望找出相關性。果然，建築物類型和建造年份是與火災相關的因素。不過，一個沒怎麼預料到的結果是，獲得外磚牆施工許可的建築物與較低的嚴重火災發生率之間存在相關性。
利用所有這些數據，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統。他們所記錄的建築物的各種特徵數據都不是導致火災的原因，但這些數據與火災隱患的增加或降低存在相關性。這種知識被證明是極具價值的：過去房屋巡視員出現場時簽發房屋騰空令的比例只有13%，在採用新辦法之後，這個比例上升到了70%——效率大大提高了。
大數據的挑戰和局限
大數據也正在幫助提高民主政府的透明度。一個建立在「開放數據」概念上的運動已經形成，其訴求超出了目前在發達民主國家已經十分常見的信息自由法。這一運動的支持者呼籲政府把手上浩如煙海的普通數據向公眾開放。
與此同時，在政府推動使用大數據的同時，它們還需要保護公眾免受不正當市場壟斷的侵害。管理大數據的法規甚至可能成為國家間的角斗場。出於對反托拉斯和保護隱私的關切，歐洲各國政府已經在嚴查谷歌公司。臉譜網可能會成為世界各地類似行動的打擊目標，因為它持有太多的個人數據。外交官們應該准備好圍繞是否像對待自由貿易那樣對待信息流動展開交鋒。
大數據勢必將改變人們生活、工作和思考的方式。建立在強調因果關系基礎上的世界觀正在受到推崇相關性的挑戰。知識的佔有曾經意味著對歷史的了解，而現在卻意味著預言未來的能力。解決大數據所帶來的挑戰將不是易事。
在決策越來越多地受到數據支配的世界裡，人、直覺或是不顧事實的蠻干還有什麼用武之地呢？如果每個人都求助於數據，都利用大數據工具的話，那麼不可預測性——例如人類的本能、冒險、意外甚至失誤——也許將會成為差異的關鍵。如果真是這樣的話，那麼需要專門為人為因素辟出一席之地——即為直覺、常識、運氣留出空間，以確保它們不會被數據和機器生成的答案擠走。
這將對社會進步的觀念產生重要影響。大數據使我們可以更快地進行實驗，對更多的線索展開探索。這些優勢應該會導致更多創新的產生。但在有些時候，發明的火花迸發是數據所無法表現的。倘若亨利·福特當初求助於大數據演算法系統來研究顧客希望得到的東西，演算法系統得到的答案會是「更快的馬匹」，也就不會有福特著名的汽車生產線了。在大數據的世界裡，需要培養的恰恰是與人類關系最密切的特性——創造力、直覺和上進心，因為人的聰明才智才是進步的源泉。
大數據是一種資源和一種工具。它的目的是告知，而不是解釋；它意在促進理解，但仍然會導致誤解——關鍵在於人們對它的掌握程度。人們必須以一種不僅欣賞其力量，而且承認其局限的態度來接納這種技術。

B. 大數據是什麼時候提出來的

大數據的概念最早可以追溯到上亂禪岩個世紀 90 年代，當時美國 IT 公司 Teradata 提出了「大型資料庫管理系統」(DBMS)的概念，這就是「大數據」的前身。然而，大數據這一術語的真正流行是在 2000 年之後的。隨著互聯網、移動設備和感測器技術襲尺的普及，越來越多的數據被持續地產生、收集、存儲和分析，這使得大數嘩御據概念得到了廣泛關注和應用。

C. 大數據的應用案例以及未來發展趨勢

趕超發達國家的重要機遇
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度，不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創造出來大數據這個概念，如今，這個概念幾乎應用到了所有人類智力與發展的領域中。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器、智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據，大數據時代已經到來。
當前全球和我國大數據都呈現了井噴式爆發性增長，大數據已經滲透到各個行業和業務職能領域，成為重要的生產因素，大數據的演進與生產力的提高有著直接的關系。其發展特點，一是數據量呈現指數級增長。二是不同行業的大數據內容和開發應用特點各有不同，如證券、投資服務以及銀行等金融服務領域擁有最高的平均數字化數據存儲量，通信和媒體公司、公共事業公司以及政府等組織也有規模顯著的數字化數據存儲，這些行業更加具有通過大數據來創造價值的潛力。三是可以預見到大數據高速增長的現有趨勢將繼續推動數據增長，例如在各部門和地區之間，企業正在加快收集數據的步伐，推動了傳統的事務資料庫的增長；醫療衛生等面向消費者的行業中，多媒體的廣泛使用刺激了大數據的增長；社交媒體的廣泛普及以及物聯網中應用的不斷創新都進一步推動了大數據不斷增長……這些相互交叉的動力刺激了數據的增長，並將繼續推動數據池的迅速擴張。
發展大數據及其相關服務業將成為新興經濟體特別是我國在戰略性新興產業領域發揮後發優勢趕超發達國家的重要機遇。只要條件具備，發展中經濟體能夠利用大數據發揮巨大的潛力。例如，亞洲地區移動手機用戶最多，終端設備最多，其中中國設備數量最多，個人位置數據在亞洲已經領先。此外，在IT資產方面，盡管一些新興市場組織落後於發達市場，但發展中經濟體可以用最新技術跳躍式前進。大數據的應用不僅僅是商務，通過用戶行為分析實現精準管理、科學決策和人性化服務是大數據的典型應用，大數據在各行各業特別是公共服務領域具有廣闊的應用前景，包括消費行業、金融服務、食品安全、醫療衛生、軍事、交通環保、電子商務、氣象等。發展大數據產業機遇可貴潛力巨大。從經濟和產業發展維度看大數據及相關產業發展的潛力，我國獨特的位勢和經濟社會高速穩定發展，給大數據及其應用帶來了巨大的發展空間。大數據在我國各領域和不同行業的應用潛力巨大、機遇重大。大數據的核心技術進展和大數據應用有可能帶來我國新興戰略性產業發展的新機遇。
信息服務業發展的重要推力
研究表明，大數據是繼傳統IT之後下一個提高生產率的技術前沿和信息服務業發展的重要推動力。大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈餘的關鍵要素。
例如醫療衛生行業，能夠利用大數據避免過度治療、減少錯誤治療和重復治療，從而降低系統成本、提高工作效率，改進和提升治療質量；公共管理領域，能夠利用大數據有效推動稅收工作開展，提高教育部門和就業部門的服務效率；零售業領域，通過在供應鏈和業務方面使用大數據，能夠改善和提高整個行業的效率；市場和營銷領域，能夠利用大數據幫助消費者在更合理的價格範圍內找到更合適的產品以滿足自身的需求，提高附加值。數據已經成為可以與物質資產和人力資產相提並論的重要的生產要素，伴隨著信息化發展，企業將收集更多的信息，從而帶來數據呈現指數級的增長。大數據在同時為商業和消費者創造價值方面有巨大的發展潛力。
大數據應用能夠發揮重要的經濟作用，不但有利於私人商業活動，更有利於國民經濟和公民。數據可以為世界經濟創造重要價值，提高企業和公共部門的生產率與競爭力，並為消費者創造大量的經濟剩餘。例如，能夠富有創造性而有效地利用大數據來提高效率和質量。麥卡錫公司研究報告指出，預計美國醫療行業每年通過數據獲得的潛在價值可超過3000億美元，能夠使得美國醫療衛生支出降低超過8%，充分利用大數據的零售商有可能將其經營利潤提高60%以上。通過利用大數據實現政府行政管理方面的運作效率提高。估計歐洲發達經濟體可以節省開支超過1000億歐元，其中尚不包括可以用來減少欺詐、錯誤以及稅差的影響作用。可以預見的是，隨著人們存儲、匯聚和組合數據然後利用其結果進行深入分析的能力超過以往，隨著越來越尖端技術的軟體與不斷提高的計算能力相結合，從數據中提取洞見的能力也在顯著提高。
大數據及其開發利用能夠催生新的產業形態，拓展成為戰略性新興產業的重要組成部分。大數據的生產、整合、開發利用具有廣泛的高附加值，可以形成和應用於各行業的關鍵發現，大數據的有效利用可以創造巨大的潛在價值，許多行業和承擔業務職能的組織可以利用大數據提高人力、物力資源的分配和協調能力，減少浪費，增加透明度，並促進新想法和新見解的產生。其價值一是提高透明度，讓利益相關方能夠更加容易地及時獲取信息，例如在公安部門，讓原本相互分離的部門之間更加容易地獲取相關數據，就可大大降低搜索和處理時間；在製造業，整合來自研發、工程和製造部門的數據以便實現並行工程，可以顯著縮短產品上市時間並提高質量。二是可以通過實驗來發現需求、暴露可變因素並提高業績。隨著組織創造並存儲更多數字形式的交易數據，並以實時或接近實時的方式收集更多准確而詳細的績效數據，組織能夠通過安排對比實驗，運用數據分析獲取更好的決策，例如在線零售商，通過將流量和銷售結合的試驗論證決定價格調整和促銷活動的制定。三是更加精準地組織市場，根據客戶需求細分人群。利用大數據使組織能夠對人群進行非常具體的細分，以便精確地定製產品和服務以滿足用戶需求。例如在公共部門如公共勞動力機構，利用大數據為不同的求職者提供工作培訓服務，確保採用最有效和最高效的干預措施使不同的人重返工作崗位。四是可以協助決策者更加科學地進行決策。大數據的自動處理能夠更好地為決策者提供更加精準恰當的決策支持，通過對大數據的自動處理來替換或支持人為決策。有些組織已經在通過分析來自客戶、雇員甚至嵌入產品中的感測器的整個數據集而做出更有效的決策。五是能夠創新商業模式、產品和服務。例如在醫療保健領域，通過分析病人的臨床和行為數據已經創造了瞄準最適當群體的預防保健項目。例如互聯網公司收集大量的在線行為數據，創新速度非常快。
應組織實施大數據產業專項
發展大數據及其相關服務業具有重要意義，有望使各個行業產生更多收益。隨著我國經濟和社會信息化的高速發展，不僅信息產業自身獲取了巨大的數據池，各個行業都存在利用大數據獲取價值的潛力。大數據促使信息化建設模式大轉變，結構化數據向非結構化數據演進，使得未來IT投資重點不再是建系統為核心，而是圍繞大數據為核心。政府和企業決策者應對大數據發展研究制定發展戰略和策略給予高度重視。
大數據真正的問題是大數據應用，讓大數據更有意義。目前大數據管理多從架構和並行等方面考慮，解決高並發數據存取的性能要求及數據存儲的橫向擴展，但對非結構化數據的內容理解仍缺乏實質性的突破和進展，這是實現大數據資源化、知識化、普適化的核心。非結構化海量信息的智能化處理包括自然語言理解、多媒體內容理解、機器學習等。例如2012年3月29日白宮發布美國政府的大數據計劃：通過提高從大型復雜的數據集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全，並改變教學研究。
由此，我們提出組織實施大數據產業專項的初步設想。一是圍繞拓展新興信息服務業態，組織實施以大數據示範、加工、處理、整合和深加工的信息資源與內容服務業示範工程，面向重點行業和重點民生領域包括金融證券、醫療衛生、稅務海關、交通運輸、社會保障、電子商務等領域，開展大數據重大應用示範，提升基於大數據的公共服務能力；二是加快推動北斗導航核心技術研發和產業化，推動北斗導航與移動通信、地理信息、衛星遙感、移動互聯網等融合發展，支持位置信息服務市場拓展，完善北斗導航基礎設施，推進服務模式和產品創新，在重點區域和領域開展示範應用；三是大力發展地理信息產業，拓寬地理信息服務市場，推進大數據技術和服務模式融合創新，支持大數據服務創新和商業模式創新；四是組織實施基於大數據的信息內容加工服務業典型示範工程，包括關鍵技術產品產業化和大數據生產、轉換、加工、投送平台及專用工具的產業化項目，為豐富信息消費內容產品供給提供支撐；五是組織實施自主可控的大數據關鍵技術產品產業化項目，主要包括商業智能、數據倉庫、數據集市、元數據、可視化技術等。

D. 盤點政府推動大數據應用及發展的舉措

盤點政府推動大數據應用及發展的舉措
一、政府：推動大數據應用的最關鍵力量
（一）政府掌握大量最具應用價值的核心數據，是推動大數據應用的最關鍵力量
根據麥肯錫大數據研究報告指出， 各個行業利用大數據價值的難易度以及發展潛力 對比下，政府利用大數據難度最低而潛力最大。
大數據
另一方面政府開放大數據運用已經是大勢所趨：
1、 政府掌握了大量最具應用價值的核心數據。 過去十多年來政府投資進行了大量電子政務或者稱為政府信息化的工作，後台積累了大量的數據，而這些數據和公眾的生產生活息息相關。有研究表明政府所掌握的數據使政府成為了一個國家最重要的信息保有者，有百分之七十到八十的核心數據存在於政府的後台 。
2、 開放數據本身就是政府在大數據時代提供的一項公共服務。 政府數據本質上是國家機關在履行職責時所獲取的數據，採集這些數據的經費來自於公共財政，因而這些數據是公共產品，歸全社會所有，應取之於民，用之於民。
3、 政府開放數據供社會進行增值開放和創新應用，推動經濟增長乃至整個經濟增長方式的轉型。 數據是互聯網創新的重要基礎，如果政府不開放這一部分數據，很多創新應用沒有數據作為支持，數據開發者能利用政府開放的數據，提供更好的服務，創造更多的價值， 這個過程能夠提高整個國家在大數據時代的競爭力。
4、 政府開放數據推動經濟增長獲得的稅收高於單純賣數據獲得的收入。 201 年世界經合組織在關於開放政府數據的報告中提到政府通過開放數據推動經濟增長，從而獲得的稅收收入遠高於單賣數據所能獲得收入。開放數據激發經濟活力從而得到稅收提升，這是一個良 性循環，更是一個能創造巨大公共價值的全局性的戰略。
（二） 國內外政府開放數據的情況
在 2009 年奧巴馬簽署開放政府數據的行政命令後，這些年來開放政府數據已成為了世界性的一個趨勢。美國聯邦數據平台 Data.gov 上線後，在美洲、歐洲、亞洲等地，開放政府數據已成為了政府的一項重要工作。美國聯邦政府的開放政府數據平台開放了來自多個領 域的 13 萬個數據集的數據。這些領域包括圖中所列的農業、商業、氣候、生態、教育、能源、金融、衛生、科研等十多個主題。這些主題下的數據都是美國聯邦政府的各個部委所開放的。英國、加拿大、紐西蘭等國在 2009 年之後都建立起了政府數據開放平台，成為 了國際信息化和大數據領域的一個重要趨勢。
大數據
在我國， 2011 年香港特區政府上線了 data.gov.hk，稱為香港政府資料一線通。上海在 2012年 6 月推出了中國大陸第一個數據開放平台。之後，北京、武漢、無錫、佛山南海等城市也都上線了自己的數據平台。
大數據
（三）、 大數據對於政府治理具有極大的價值
大數據其實對政府的治理帶來了全新的價值，無論是對宏觀經濟的決策能力、產業聚集能力、協同治理能力、社會管理能力、公眾服務能力、快速響應能力的提升，大數據都可以在有很大層面上幫助政府治理。
大數據大數據
（四）、大數據上升至國家戰略成為共識。
大數據時代，對大數據的開發、利用與保護的爭奪日趨激烈，制信權成為繼制陸權、制海權、制空權之後的新制權，大數據處理能力成為強國弱國區分的又一重要指標。國際上以美國為代表的發達國家紛紛布局大數據產業，相繼推出大數據相關政策，大力支持大數據產 業在本國的發展。以美國為例，美國從開展關鍵技術研究、推動大數據應用和開放政府數據三方面布局大數據產業，尤其在開放政府數據方面非常積極，通過 Data.gov開放 37 萬個數據集，並開放網站的 API 和源代碼，提供上千個數據應用。我們認為，大數據未來將 引發新一輪大國競爭，大數據對整個世界的影響力會呈現爆發性增長趨勢，因此包括我國在內的國家會在政策支持力度上不斷提升，大數據戰略將上升至國家戰略已毋庸臵疑。
大數據
（五）、 我國 高度重視大數據未來發展
自去年 3 月「大數據」首次出現在《政府工作報告》中以來，國務院常務會議一年內 6次提及大數據運用。近期在 6 月 17 日的國務院常務會議上，李克強總理再次強調「我們正在推進簡政放權，放管結合、優化服務，而大數據手段的運用十分重要。」 7 月 1 日， 國務院辦公廳印發了《關於運用大數據加強對市場主體服務和監管的若干意見》。
大數據
大數據大數據
（六）. 各部委行動時間表已經確，我國大數據發展面臨歷史性機遇
值得注意的是，近期國務院出台文件對各個部委推進大數據任務制定了明確的時間表，很多推進工作任務要求在 2015 年 12 月底前出台政策並實施，近期將是我國大數據發展政策出台的密集期。

表 3： 各部委推進大數據應用時間表
序號工作任務負責單位時間進度1加快建立公民、法人和其他組織統一社會信用代碼制度。發展改革委、中央編辦、公安部、民政部、人民銀行、稅務總局、工商總局、質檢總局2015 年 12 月底前出台並實施2全面實行工商營業執照、組織機構代碼證和稅務登記證「三證合一」、 「一照一碼」登記制度改革。工商總局、中央編辦、發展改革委、質檢總局、稅務總局2015 年 12 月底前實施3建立多部門網上項目並聯審批平台，實現跨部門、跨層級項目審批、核准、備案的「統一受理、同步審查、信息共享、透明公開」。發展改革委會同有關部門2015 年 12 月底前完成4推動政府部門整合相關信息，緊密結合企業需求，利用網站和微博、微信等新興媒體為企業提供服務。網信辦、工業和信息化部持續實施5研究制定在財政資金補助、政府采購、政府購買服務、政府投資工程建設招投標過程中使用信用信息和信用報告的政策措施。財政部、發展改革委2015 年 12 月底前出台並實施6充分運用大數據技術，改進經濟運行監測預測和風險預警，並及時向社會發布相關信息，合理引導市場預期。發展改革委、統計局持續實施7支持銀行、證券、信託、融資租賃、擔保、保險等專業服務機構和行業協會、商會運用大數據為企業提供服務。人民銀行、銀監會、證監會、保監會、民政部持續實施8健全事中事後監管機制，匯總整合和關聯分析有關數據，構建大數據監管模型，提升政府科學決策和風險預判能力。各市場監管部門2015 年 12 月底前取得階段性成果9在辦理行政許可等環節全面建立市場主體准入前信用承諾制度。 信用承諾向社會公開，並納入市場主體信用記錄。各行業主管部門2015 年廣泛開展試點， 2017 年 12 月底前完成10加快建設地方信用信息共享交換平台、部門和行業信用信息系統，通過國家統一的信用信息共享交換平台實現互聯共享。各省級人民政府，各有關部門2016 年 12 月底前完成11建立健全失信聯合懲戒機制，將使用信用信息和信用報告嵌入行政管理和公共服務的各領域、各環節，作為必要條件或重要參考依據。在各領域建立跨部門聯動響應和失信約束機制。建立各行業「黑名單」制度和市場退出機制。推動將申請人良好的信用狀況作為各類行政許可的必備條件。各有關部門，各省級人民政府2015 年 12 月底前取得階段性成果12建立產品信息溯源制度，加強對食品、葯品、農產品、日用消費品、特種設備、地理標志保護產品等重要產品的監督管理，利用物聯網、射頻識別等信息技術，建立產品質量追溯體系，形成來源可查、去向可追、責任可究的信息鏈條。商務部、網信辦會同食品葯品監管總局、農業部、質檢總局、工業和信息化部2015 年 12 月底前出台並實施13加強對電子商務平台的監督管理，加強電子商務信息採集和分析，指導開展電子商務網站可信認證服務，推廣應用網站可信標識，推進電子商務可信交易環境建設。健全權益保護和爭議調處機制。工商總局、商務部、網信辦、工業和信息化部持續實施14進一步加大政府信息公開和數據開放力度。除法律法規另有規定外，將行政許可、行政處罰等信息自作出行政決定之日起 7 個工作日內上網公開。各有關部門，各省級人民政府持續實施15加快實施經營異常名錄制度和嚴重違法失信企業名單制度。建設國家企業信用信息公示系統，依法對企業注冊登記、行政許可、行政處罰等基本信用信息以及企業年度報告、經營異常名錄和嚴重違法失信企業名單進行公示，並與國家統一的信用信息共享交換平台實現有機對接和信息共享。工商總局、其他有關部門，各省級人民政府持續實施16支持探索開展社會化的信用信息公示服務。建設「信用中國 」網站，歸集整合各地區、各部門掌握的應向社會公開的信用信息，實現信用信息一站式查詢，方便社會了解市場主體信用狀況。各級政府及其部門網站要與 「信用中國 」網站連接，並將本單位政務公開信息和相關市場主體違法違規信息在「信用中國 」網站公開。發展改革委、人民銀行、其他有關部門，地方各級人民政府2015 年 12 月底前完成17推動各地區、各部門已建、在建信息系統互聯互通和信息交換共享。在部門信息系統項目審批和驗收環節，進一步強化對信息共享的要求。發展改革委、其他有關部門持續實施18健全國家電子政務網路，加快推進國家政務信息化工程建設，統籌建立人口、法人單位、自然資源和空間地理、宏觀經濟等國家信息資源庫，加快建設完善國家重要信息系統。發展改革委、其他有關部門分年度推進實施， 2020 年前基本建成19加強對市場主體相關信息的記錄，形成信用檔案。對嚴重違法失信的市場主體，按照有關規定列入「黑名單」，並將相關信息納入企業信用信息公示系統和國家統一的信用信息共享交換平台。各有關部門2015 年 12 月底前實施20探索建立政府信息資源目錄。各有關部門2016 年 12 月底前出台目錄編制指南21引導徵信機構根據市場需求，大力加強信用服務產品創新，進一步擴大信用報告在行政管理和公共服務及銀行、證券、保險等領域的應用。發展改革委、人民銀行、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果22落實和完善支持大數據產業發展的財稅、金融、產業、人才等政策，推動大數據產業加快發展。發展改革委、工業和信息化部、財政部、人力資源社會保障部、人民銀行、網信辦、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果23加快研究完善規范電子政務，監管信息跨境流動，保護國家經濟安全、信息安全，以及保護企業商業秘密、個人隱私方面的管理制度，加快制定出台相關法律法規。網信辦、公安部、工商總局、工業和信息化部、發展改革委等部門會同法制辦2017 年 12 月底前出台（涉及法律、行政法規的，按照立法程序推進）24推動出台相關法規，對政府部門在行政管理、公共服務中使用信用信息和信用報告作出規定，為聯合懲戒市場主體違法失信行為提供依據。發展改革委、人民銀行、法制辦2017 年 12 月底前出台（涉及法律、行政法規的，按照立法程序推進）25建立大數據標准體系，研究制定有關大數據的基礎標准、技術標准、應用標准和管理標准等。加快建立政府信息採集、存儲、公開、共享、使用、質量保障和安全管理的技術標准。引導建立企業間信息共享交換的標准規范。工業和信息化部、國家標准委、發展改革委、質檢總局、網信辦、統計局2020 年前分步出台並實施26推動實施大數據示範應用工程，在工商登記、統計調查、質量監管、競爭執法、消費維權等領域率先開展示範應用工程，實現大數據匯聚整合。在宏觀管理、稅收征繳、資源利用與環境保護、食品葯品安全、安全生產、信用體系建設、健康醫療、勞動保障、教育文化、交通旅遊、金融服務、中小企業服務、工業製造、現代農業、商貿物流、社會綜合治理、收入分配調節等領域實施大數據示範應用工程。

E. 結合實際大數據的應用體現在哪些方面

社交網路，為大數據提供了信息匯集、分析的第一手資料。大數據的價值主要就是，從龐雜的數據背後挖掘、分析用戶的行為習慣和喜好，找出更符合用戶口味或需求的產品和服務，並結合用戶需求有針對性地調整和優化自身。
簡單的說，如果我擁有了客戶大量的信息，我就能從收集到的信息中知道客戶的消費習慣和消費方向，通過這些數據分析出自身產品有哪些缺失，可以及時改變策略，而不是盲目的生產一些客戶並不喜歡的產品增加自身成本。大數據的核心價值就是，提升決策准確性，降低風險，提升運營精準度，降低成本。現在就讓我們通過一些案例來了解大數據在實際生活中的應用。
在醫療行業。通過一些技術企業能找到大量病人相關的臨床醫療信息，通過大數據處理，能更好地分析病人的信息。在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鍾有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施，避免早產嬰兒夭折。
在能源行業。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多餘電的時候還可以買回來。通過電網每隔五分鍾或十分鍾收集一次數據，這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測後，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測後，可以降低采購成本。
在汽車製造業。福特公司在產品的研發設計階段，大數據就已經對汽車的部件和功能產生了重要影響。比如，福特產品開發團隊曾經對SUV是否應該採取掀背式(即手動打開車後行李箱車門)或電動式進行分析。如果選擇後者，門會自動打開、便捷智能，但這種方式會影響到車門開啟有限的困惱。此前採用定期調查的方式並沒有發現這個問題，但後來根據對社交媒體的關注和分析，發現很多人都在談論這些問題。
在音樂方面。在車內聽的歌曲很可能反映你的真實喜好，Grace note就擁有此種技術。它採用智能手機和平板電腦內置的麥克風識別用戶電視或音響中播放的歌曲，並可檢測掌聲或噓聲等反應，甚至還能檢測用戶是否調高了音量。這樣，Grace note可以研究用戶真正喜歡的歌曲，聽歌的時間和地點。Grace note擁有數百萬首歌曲的音頻和元數據，因而可以快速識別歌曲信息，並按音樂風格、歌手、地理位置等分類。
像這樣的案例還有很多很多，涉及到了生活的方方面面，而且正在逐步滲透，由此可以看到大數據對我們生活產生的影響有多麼深刻。但是現在國內大數據技術正在發展階段，大數據人才非常緊缺，因此從大數據廣闊的未來前景和明朗自身的行業形勢都告訴我們，學習大數據，不光是自身這份技能對未來工作有很大的幫助，對企業來說也非常希望大數據能給企業帶來巨大的利益，對大數據人才的渴求度自然是持續高漲的。

F. 目前大數據在哪些行業有案例或者說應用

大數據應用的關鍵，也是其必要條件，就在於"IT"與"經營"的融合，當然，這里的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。以下是關於各行各業，不同的組織機構在大數據方面的應用的案例，在此申明，以下案例均來源於網路，本文僅作引用，並在此基礎上作簡單的梳理和分類。

大數據應用案例之：醫療行業

SetonHealthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人的信息。

在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鍾有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施，避免早產嬰兒夭折。

大數據應用案例之：能源行業

智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據，收集來的這些大稿數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測後，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測後，可以降低采購成本。

維斯塔斯風力系統，依靠的是BigInsights軟體和IBM超級計算機，然後對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據，以往需要數周的分析工作，現在僅需要不足1小時便可完成。

大數據應用案例之：通信行業

XOCommunications通過使用IBMSPSS預測分析軟體，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，並找出存在缺陷的環節，從而幫助公司及時採取措施，保留客戶。此外，IBM新的Netezza網路分析加速器，將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台，幫助通信企業制定更科學、合理決策。

電信業者透過數以千萬計的禪者客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業，這是全新的資料經濟。

中國移動通過大數據分析，對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。

NTTdocomo把手機位置信息和互聯網上的信息結合起來，為顧滾襲孝客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。

大數據應用案例之：零售業

"我們的某個客戶，是一家領先的專業時裝零售商，通過當地的百貨商店、網路及其郵購目錄業務為客戶提供服務。公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從Twitter和Facebook上收集社交信息，更深入的理解化妝品的營銷模式，隨後他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。希望通過接受免費化妝服務，讓用戶進行口碑宣傳，這是交易數據與交互數據的完美結合，為業務挑戰提供了解決方案。"Informatica的技術幫助這家零售商用社交平台上的數據充實了客戶主數據，使他的業務服務更具有目標性。

零售企業也監控客戶的店內走動情況以及與商品的互動。它們將這些數據與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經幫助某領先零售企業減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例。

G. 大數據人臉分析案例

大數據人臉分析案例

大數據人臉分析案例，隨著社會科技的不斷發展，人工技能，人臉識別技術也不斷普及到各個領域。人臉識別技術可以在大數據的環境下，極大發揮其強大的作用。下文分享有關大數據人臉分析的內容。

大數據人臉分析案例1

基於特徵的方法和基於圖像的方法

1、基於特徵的方法

技術：基於特徵的方法試圖找到人臉的不變特徵進行檢測。其基本思想是基於人類視覺可以毫不費力地檢測不同姿勢和光照條件下的人臉的觀察，因此必須有盡管存在這些變化的屬性或特徵是一致的。當前已經提出了廣泛的方法來檢測面部特徵，然後推斷面部的存在。

示例：邊緣檢測器通常會提取人臉特徵，例如眼睛、鼻子、嘴巴、眉毛、膚色和發際線。基於提取的特徵，建立統計模型來描述它們之間的關系並驗證人臉在圖像中的存在。

優點：易於實施，傳統方法

缺點：基於特徵的演算法的一個主要問題是圖像特徵可能會由於光照、雜訊和遮擋而嚴重損壞。此外，人臉的特徵邊界會被弱化，陰影會導致強邊緣，這使得感知分組演算法無用。

2、基於圖像的方法

技術：基於圖像的方法嘗試從圖像中的示例中學習模板。因此，基於外觀的方法依靠機器學習和統計分析技術來找到「人臉」和「非人臉」圖像的相關特徵。學習的特徵是以分布模型或判別函數的形式應用於人臉檢測任務。

示例：基於圖像的方法包括神經網路 （CNN）、支持向量機 （SVMi） 或 Adaboost。

優點：性能好，效率更高

缺點：難以實施。 為了計算效率和檢測效率，通常需要降維。這意味著通過獲得一組主要特徵來考慮降低特徵空間的維數，保留原始數據的有意義的屬性。

人臉檢測方法

已經引入了多種人臉檢測技術。

1、開始階段：人臉檢測自 90 年代出現以來一直是一個具有挑戰性的研究領域。

2000 年之前，盡管有很多研究，但直到 Viola 和 Jones 提出里程碑式的工作，人臉識別的實際性能還遠不能令人滿意。 從 Viola—Jones 的開創性工作（Viola and Jones 2004）開始，人臉檢測取得了長足的進步。

Viola and Jones 開創性地使用 Haar 特徵和 AdaBoost 來訓練一個有希望的准確度和效率的人臉檢測器（Viola and Jones 2004），這啟發了之後有幾種不同的方法。 然而，它有幾個嚴重的缺點。首先，它的特徵尺寸比較大。另外，它不能有效地處理非正面人臉和框外人臉。

2、早期階段——機器學習：早期的方法主要集中在與計算機視覺領域的專家一起提取不同類型的手工特徵，並訓練有效的分類器以使用傳統的機器學習演算法進行檢測。

這些方法的局限性在於它們通常需要計算機視覺專家來製作有效的特徵，並且每個單獨的組件都單獨優化，使得整個檢測流程往往不是最佳的。

為了解決第一個問題，人們付出了很多努力來提出更復雜的特徵，如 HOG（定向梯度直方圖）、SIFT（尺度不變特徵變換）、sURF（加速魯棒特徵）和 ACF（聚合通道特徵）。檢測的魯棒性，已經開發了針對不同視圖或姿勢分別訓練的多個檢測器的組合。然而，此類模型的訓練和測試通常更耗時，並且檢測性能的提升相對有限。3

3、最新技術 — 深度學習：近年來，使用深度學習方法，尤其是深度卷積神經網路 （CNN） 的人臉識別取得了顯著進展，在各種計算機視覺任務中取得了顯顯著的成功。

與傳統的計算機視覺方法相比，深度學習方法避免了手工設計的不足，並主導了許多著名的基準評估，例如 lmageNet大規模視覺識別挑戰 （ILSVRC）。

最近，研究人員應用了 Faster R—CNN，這是最先進的通用對象檢測器之一，並取得了可喜的成果。此外，CNN 級聯、區域提議網路（RPN）和 Faster R—CNN 聯合訓練實現了端到端的優化，以及人臉檢測基準，如 FDDB（人臉資料庫）等。

主要挑戰

人臉檢測面臨的困難是降低人臉識別准確率和檢測率的原因。

這些挑戰是復雜的背景、圖像中的人臉過多、奇怪的表情、光照、解析度較低、人臉遮擋、膚色、距離和方向等。

不尋常的面部表情：圖像中的人臉可能會顯示出意外或奇怪的面部表情。

照明度：某些圖像部分可能具有非常高或非常低的照明度或陰影。

皮膚類型：檢測不同人臉顏色的人臉檢測具有挑戰性，需要更廣泛的訓練圖像多樣性。

距離：如果到相機的距離太遠，物體尺寸（人臉尺寸）可能太小。

朝向：人臉方向和相機的角度會影響人臉檢測率。

復雜的背景： 場景中的大量對象會降低檢測的准確性和速度。

一張圖像中有很多人臉：一張包含大量人臉的圖像對於准確檢測率來說非常具有挑戰性。

人臉遮擋：人臉可能會被眼鏡、圍巾、手、頭發、帽子等物體部分遮擋，影響檢測率。

低解析度：低解析度圖像或圖像雜訊會對檢測率產生負面影響。

人臉檢測應用場景

人群監控：人臉檢測用於檢測經常光顧的公共或私人區域的人群。

人機交互： 多個基於人機交互的系統使用面部識別來檢測人類的存在。

攝影：最近的一些數碼相機使用面部檢測進行自動對焦等等。

面部特徵提取：可以從圖像中提取鼻子、眼睛、嘴巴、膚色等面部特徵。 、

性別分類： 通過人臉檢測方法檢測性別信息。

人臉識別：從數字圖像或視頻幀中識別和驗證一個人。

營銷：人臉檢測對於營銷、分析客戶行為或定向廣告變得越來越重要。

出勤：面部識別用於檢測人類的出勤情況， 它通常與生物識別檢測結合用於訪問管理，如智能門禁。

大數據人臉分析案例2

2014年前後，隨著大數據和深度學習的發展，神經網路備受矚目，深度學習的出現使人臉識別技術取得了突破性進展。深度學習是機器學習的一種，其概念源於人工神經網路的研究，通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。

區別於傳統的淺層學習，深度學習的不同在於一方面通常有5層以上的'多層隱層節點，模型結構深度大；另一方面利用大數據來學習特徵，明確了特徵學習的重要性。

隨著深度卷積神經網路和大規模數據集的最新發展，深度人臉識別取得了顯著進展，基於深度學習的人臉識別技術可以通過網路自動學習人臉面部特徵，從而提高人臉檢測效率。

從人臉表達模型來看，可細分為2D人臉識別和3D人臉識別。基於2D的人臉識別通過2D攝像頭拍攝平面成像，研究時間相對較長，在多個領域都有使用，但由於2D信息存在深度數據丟失的局限性，收集的信息有限，安全級別不夠高，在實際應用中存在不足。

早在2019年，就有小學生手舉照片「攻破」了快遞櫃的人臉識別系統。基於3D的人臉識別系統通過3D攝像頭立體成像，由兩個攝像頭、一個紅外線補光探頭和一個可見光探頭相互配合形成3D圖像，能夠准確分辨出照片、視頻、面具等逼真的攻擊手段。

根據使用攝像頭成像原理，目前3D人臉識別主要有三種主流方案，分別是3D結構光方案（Structured Light）、時差測距技術3D方案（Time Of Flight，TOF）和雙目立體成像方案（Stereo System）。基於3D結構光的人臉識別已在一些智能手機上實際應用，比如HUAWEI Mate 20 Pro、iPhone X。

2009年微軟推出的Kinect（Xbox 360體感周邊外設）則採用了TOF方式獲取3D數據，顛覆了游戲的單一操作，為人機體感交互提供了有益探索。雙目立體成像方案基於視差原理，通過多幅圖像恢復物體的三維信息，由於對相機焦距、兩個攝像頭平面位置等要求較高，應用范圍相對於3D結構光和TOF方案較窄。

除了能夠准確識人，精準判斷捕捉到的人臉是真實的也至關重要。活體檢測技術能夠在系統攝像頭正確識別人臉的同時，驗證用戶是本人而不是照片、視頻等常見攻擊手段。目前活體檢測分為三種，分別是配合式活體檢測、靜默活體檢測和雙目活體防偽檢測。

其中，配合式活體檢測最為常見，比如在銀行「刷臉」辦理業務、在手機端完成身份認證等應用場景，通常需要根據文字提示完成左看右看、點頭、眨眨眼等動作，通過人臉關鍵點定位和人臉追蹤等技術，驗證用戶是否為真實活體本人。

人臉與人體的其他生物特徵（如指紋、虹膜等）一樣與生俱來，它的唯一性和不易被復制的良好特性為身份鑒別提供了必要的前提。隨著大數據和深度學習的不斷發展，人臉識別效率顯著提升，為遠程辦理業務的身份認證環節提供了可靠保障。

但與此同時，人臉信息保護、隱私安全等問題也應引起重視。隨著《個人信息保護法》《數據安全法》及相關司法解釋的出台，國家相關部門以及各種機構對個人信息安全問題的重視，有利於引導人臉識別技術的發展方向，為促進行業高質量發展、創造高品質數字生活提供有力支撐。

大數據人臉分析案例3

人臉識別的應用場景在大范圍擴展：

金融領域：遠程銀行開戶、身份核驗、保險理賠和刷臉支付等。人臉識別技術的接入，能有效提高資金交易安全的保障，也提高了金融業務中的便捷性。

智慧安防領域則是為了視頻結構化、人物檢索、人臉布控、人群統計等軟硬體一體形態產品提供基礎支撐，重點應用於犯罪人員的識別追蹤、失蹤兒童尋找、反恐行動助力等場景。實現重點人員的識別及跟蹤，在公安應用場景中達到事前預警、事中跟蹤、事後快速處置的目的。

交通領域主要包括1：1人臉驗證和1：N人臉辨識，目前利用人臉核驗驗證技術的刷臉安檢已進入普遍應用階段，在高鐵站、普通火車站和機場皆已大面積推廣。

而應用1：N人臉比對技術的刷臉支付主要落地在地鐵公交等市內交通，這種技術能夠極大提高通勤人員的出行效率，釋放大量的人力資源，提升出行體驗。同時，人臉識別可以對交通站點進行人流監測，根據人員出行規律預測人流高峰，提前做好疏導預案。

民生政務方面，人臉識別在政務系統的落地，提升了民眾的辦事效率，公民可以不用窗口排隊，實現自助辦事，節省了因人工效率低下產生的耗時。部分政務還可以通過在線人臉識別驗證，在移動端線上辦理，減輕了「辦事來回跑、辦事地點遠、辦事點分散」的困擾。

智能家居方面，主要應用在安全解鎖和個性化家居服務兩個場景。

在線教育領域則是通過人臉識別查驗學員身份，避免一賬號多個人使用，給網校造成損失，另一用途是幫助在線課堂老師了解學生學習狀態，彌補網路授課相較於傳統授課在師生交流環節上的不足。

商業領域，利用人臉識別功能實現各種極具創意的互動營銷活動。

凡事都有兩面。即便擁有以上優勢，因人臉暴露度較高，相比對其他生物特徵數據更容易實現被動採集，這也意味著人臉信息的數據更容易被竊取，不僅可能侵犯個人隱私，還會帶來財產損失。大規模的資料庫泄露還會對一個族群或國家帶來安全風險。

在南方都市報個人信息保護研究中心發布的《人臉識別應用公眾調研報告（2020）》中，其對兩萬份調研報告進行統計，問卷中就「便捷性」與「安全性」設置了量表題，請受訪者分別依據前述10大類場景中的使用感受進行打分。

1分為最低分，5分為最高分。結果顯示，在安全性感受方面，受訪者給出的分數則明顯偏低，體現出他們對安全風險的憂慮態度。