2012奧巴馬大數據白皮書

Ⅰ 大數據技術及應用

大數據技術及應用
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據。2011年5 月，在「雲計算相遇大數據」 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里？金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」
二、什麼是大數據
大數據（Big Data）是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息，定製出高度個性化的用戶體驗，並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
（一）大數據的4V特徵
大量化（Volume）：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模範圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外，各種意想不到的來源都能產生數據。
多樣化（Variety）：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由於新型多結構數據，以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中，部分感測器安裝在火車、汽車和飛機上，每個感測器都增加了數據的多樣性。
快速化（Velocity）：高速描述的是數據被創建和移動的速度。在高速網路時代，通過基於實現軟體性能優化的高速電腦處理器和伺服器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析並返回給用戶，以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。
價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智慧Vs傳統商務智能（咨詢、報告等）
三、大數據時代對生活、工作的影響
大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。
「大數據」的影響，增加了對信息管理專家的需求。事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示：被調查者最關注的大數據技術中，排在前五位的分別是大數據分析（12.91%）、雲資料庫（11.82%）、Hadoop（11.73%）、內存資料庫（11.64%）以及數據安全（9.21%）。Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢，那麼大數據分析中的哪項功能是最重要的呢？從下圖可以看出，排在前三位的功能分別是實時分析（21.32%）、豐富的挖掘模型（17.97%）和可視化界面（15.91%）。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型（27.22%）比實時分析（19.88%）多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出：企業在未來一兩年中有迫切部署大數據的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場「數據戰」。
五、大數據的應用
（一）行業拓展者，打造大數據行業基石
IBM：IBM大數據提供的服務包括數據分析，文本分析，藍色雲杉（混搭供電合作的網路平台）；業務事件處理；IBM Mashup Center的計量，監測，和商業化服務（MMMS）。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights，基於Apache Hadoop。
該產品組合包括：打包的Apache Hadoop的軟體和服務，代號是bigInsights核心，用於開始大數據分析。軟體被稱為bigsheet，軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融，風險管理，媒體和娛樂等行業量身定做的行業解決方案。
微軟：2011年1月與惠普（具體而言是HP資料庫綜合應用部門） 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC：EMC 斬獲了紐交所和Nasdaq；大數據解決方案已包括40多個產品。
Oracle：Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
（二）大數據促進了政府職能變革
重視應用大數據技術，盤活各地雲計算中心資產：把原來大規模投資產業園、物聯網產業園從政績工程，改造成智慧工程；在安防領域，應用大數據技術，提高應急處置能力和安全防範能力；在民生領域，應用大數據技術，提升服務能力和運作效率，以及個性化的服務，比如醫療、衛生、教育等部門；解決在金融，電信領域等中數據分析的問題：一直得到得極大的重視，但受困於存儲能力和計算能力的限制，只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革，另一方面政府投入將形成示範效應，大大推動大數據的發展。
（三）打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》，提出「通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，強化美國國土安全，轉變教育和學習模式」 ；中國工程院院士鄔賀銓說道，「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效，隨著智慧城市的建設，社會將步入「大數據」時代。」
（四）未來，改變一切
未來，企業會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。
數據的再利用：由於在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們並不急需使用也不擅長再次利用這些數據。例如，行動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯網所記錄和保留了下來，並且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的？
眼下中國互聯網熱門的話題之一就是互聯網實名制問題，我願意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯網才能對我們的隱私給予更好保護

Ⅱ 什麼是大數據時代

大數據時代

（巨量資料（IT行業術語））
編輯
最早提出「大數據」時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」 「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為近年來互聯網和信息行業的發展而引起人們關注。
中文名
大數據時代
外文名
Big data
提出者
麥肯錫
類 屬
科技名詞
目錄
1 產生背景
2 影響
▪ 大數據
▪ 大數據的精髓
▪ 數據價值
▪ 可視化
3 特徵
4 案例分析
5 產業崛起
6 提供依據
7 應對措施

產生背景
編輯

進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數
大數據時代來臨
據，並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。[1]
數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」[2]

影響
編輯

大數據
現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。[3]
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。大數據（Big data）通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。[2]
在現今的社會，大數據的應用越來越彰顯他的優勢，它佔領的領域也越來越大，電子商務、O2O、物流配送等，各種利用大數據進行發展的領域正在協助企業不斷地發展新業務，創新運營模式。有了大數據這個概念，對於消費者行為的判斷，產品銷售量的預測，精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。[4]
「大數據」在互聯網行業指的是這樣一種現象：互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大，以至於不能用G或T來衡量。
大數據到底有多大？一組名為「互聯網上一天」的數據告訴我們，一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當於美國兩年的紙質信件數量）；發出的社區帖子達200萬個（相當於《時代》雜志770年的文字量）；賣出的手機為37.8萬台，高於全球每天出生的嬰兒數量37.1萬……[1]
截止到2012年，數據量已經從TB（1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的數據。而到2012年為止，人類生產的所有印刷材料的數據量是200PB，全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。而到了2020年，全世界所產生的數據規模將達到今天的44倍。[5] 每一天，全世界會上傳超過5億張圖片，每分鍾就有20小時時長的視頻被分享。然而，即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。
這樣的趨勢會持續下去。我們現在還處於所謂「物聯網」的最初級階段，而隨著技術成熟，我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%，達到了4000億美元。[5]

大數據的精髓
大數據帶給我們的三個顛覆性觀念轉變：是全部數據，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。[6]
A.不是隨機樣本，而是全體數據：在大數據時代，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不再依賴於隨機采樣(隨機采樣，以前我們通常把這看成是理所應當的限制，但高性能的數字技術讓我們意識到，這其實是一種人為限制);
B.不是精確性，而是混雜性：研究數據如此之多，以至於我們不再熱衷於追求精確度;之前需要分析的數據很少，所以我們必須盡可能精確地量化我們的記錄，隨著規模的擴大，對精確度的痴迷將減弱;擁有了大數據，我們不再需要對一個現象刨根問底，只要掌握了大體的發展方向即可，適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力;
C.不是因果關系，而是相關關系：我們不再熱衷於找因果關系，尋找因果關系是人類長久以來的習慣，在大數據時代，我們無須再緊盯事物之間的因果關系，而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生，但是它會提醒我們這件事情正在發生。

數據價值
大數據時代，什麼最貴?
十年前，葛大爺曾說過，「21世紀什麼最貴?」——「人才」，深以為然。只是，十年後的今天，大數據時代也帶來了身價不斷翻番的各種數據。由於急速拓展的網路帶寬以及各種穿戴設備所帶來的大量數據，數據的增長從未停歇，甚至呈井噴式增長。[7]
一分鍾內，微博推特上新發的數據量超過10萬；社交網路「臉譜」的瀏覽量超過600萬……
這些龐大數字，意味著什麼？
它意味著，一種全新的致富手段也許就擺在面前，它的價值堪比石油和黃金。
事實上，當你仍然在把微博等社交平台當作抒情或者發議論的工具時，華爾街的斂財高手們卻正在挖掘這些互聯網的「數據財富」，先人一步用其預判市場走勢，而且取得了不俗的收益。
讓我們一起來看看——他們是怎麼做的。
這些數據都能幹啥。具體有六大價值：
●1、華爾街根據民眾情緒拋售股票；
●2、對沖基金依據購物網站的顧客評論，分析企業產品銷售狀況；
●3、銀行根據求職網站的崗位數量，推斷就業率；
●4、投資機構搜集並分析上市企業聲明，從中尋找破產的蛛絲馬跡；
●5、美國疾病控制和預防中心依據網民搜索，分析全球范圍內流感等病疫的傳播狀況；
●6、美國總統奧巴馬的競選團隊依據選民的微博，實時分析選民對總統競選人的喜好。[1]

可視化
「數據是新的石油。」亞馬遜前任首席科學家Andreas Weigend說。Instagram以10億美元出售之時，成立於1881年的世界最大影像產品及服務商柯達正申請破產。
大數據是如此重要，以至於其獲取、儲存、搜索、共享、分析，乃至可視化地呈現，都成為了當前重要的研究課題[1] 。
「當時時變幻的、海量的數據出現在眼前，是怎樣一幅壯觀的景象？在後台注視著這一切，會不會有接近上帝俯視人間星火的感覺？」
這個問題我曾請教過劉建國，中國著名的搜索引擎專家。劉曾主持開發過國內第一個大規模中英文搜索引擎系統「天網」。
要知道，劉建國曾任至網路的首席技術官，在這樣一家每天需應對網民各種搜索請求1.7億次（2013年約為8.77億次）的網站中，如果只是在後台靜靜端坐，可能片刻都不能安心吧。網路果然在提供搜索服務之外，逐漸增添了網路指數，後又建立了基於網民搜索數據的重要產品「貼吧」及網路統計產品等。
劉建國沒有直接回答這個問題，他想了很久，似乎陷入了回憶，嘴角的笑容含著詭秘。
倒是有公司已經在大數據中有接近上帝俯視的感覺，美國洛杉磯就有企業宣稱，他們將全球夜景的歷史數據建立模型，在過濾掉波動之後，做出了投資房地產和消費的研究報告。
在數據可視化呈現方面，我最新接收到的故事是，一位在美國思科物流部門工作的朋友，很聰明的印度裔小夥子，被Facebook高價挖角，進入其數據研究小組。他後來驚訝地發現，裡面全是來自物流企業、供應鏈方面的技術人員和專家，「Facebook想知道，能不能用物流的角度和流程的方式，分析用戶的路徑和行為。」

特徵
編輯
數據量大（Volume）
第一個特徵是數據量大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。
類型繁多（Variety）
第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。
價值密度低（Value）
第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器演算法更迅速地完成數據的價值「提純」，是大數據時代亟待解決的難題。
速度快、時效高（Velocity）
第四個特徵是處理速度快，時效性要求高。這是大數據區分於傳統數據挖掘最顯著的特徵。
既有的技術架構和路線，已經無法高效處理如此海量的數據，而對於相關組織來說，如果投入巨大採集的信息無法通過及時處理反饋有效信息，那將是得不償失的。可以說，大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。[2]

案例分析
編輯
個案一
你開心他就買你焦慮他就拋[2]
華爾街「德溫特資本市場」公司首席執行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而判斷民眾情緒，再以「1」到「50」進行打分。根據打分結果，霍廷再決定如何處理手中數以百萬美元計的股票。
霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。
這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。
個案二
國際商用機器公司（IBM）估測，這些「數據」值錢的地方主要在於時效。對於片刻便能定輸贏的華爾街，這一時效至關重要。曾經，華爾街2%的企業搜集微博等平台的「非正式」數據；如今，接近半數企業採用了這種手段。
●「社會流動」創業公司在「大數據」行業生機勃勃，和微博推特是合作夥伴。它分析數據，告訴廣告商什麼是正確的時間，誰是正確的用戶，什麼是應該發表的正確內容，備受廣告商熱愛。
●通過喬希·詹姆斯的Omniture（著名的網頁流量分析工具）公司，你可以知道有多少人訪問你的網站，以及他們呆了多長時間——這些數據對於任何企業來說都至關重要。詹姆斯把公司賣掉，進賬18億美元。
●微軟專家吉拉德喜歡把這些「大數據」結果可視化：他把客戶請到辦公室，將包含這些公司的數據圖譜展現出來——有些是普通的時間軸，有些像蒲公英，有些則是鋪滿整個畫面的泡泡，泡泡中顯示這些客戶的粉絲正在談論什麼話題。
●「臉譜」數據分析師傑弗遜的工作就是搭建數據分析模型，弄清楚用戶點擊廣告的動機和方式。
處理和分析工具
用於分析大數據的工具主要有開源與商用兩個生態圈。
開源大數據生態圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 漸次誕生，早期Hadoop生態圈逐步形成。
2、. Hypertable是另類。它存在於Hadoop生態圈之外，但也曾經有一些用戶。
3、NoSQL，membase、MongoDb
商用大數據生態圈：
1、一體機資料庫/數據倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、數據倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、數據集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。

產業崛起
編輯
越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產，數據分析能力正在成為組織的核心競爭力。具體有以下三大案例：
1、2012年3月22日，奧巴馬政府宣布投資2億美元拉動大數據相關產業發展，將「大數據戰略」上升為國家意志。奧巴馬政府將數據定義為「未來的新石油」，並表示一個國家擁有數據的規模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數據的佔有和控制甚至將成為陸權、海權、空權之外的另一種國家核心資產。
2、聯合國也在2012年發布了大數據政務白皮書，指出大數據對於聯合國和各國政府來說是一個歷史性的機遇，人們如今可以使用極為豐富的數據資源，來對社會經濟進行前所未有的實時分析，幫助政府更好地響應社會和經濟運行。
3、而最為積極的還是眾多的IT企業。麥肯錫在一份名為《大數據，是下一輪創新、競爭和生產力的前沿》的專題研究報告中提出，「對於企業來說，海量數據的運用將成為未來競爭和增長的基礎」，該報告在業界引起廣泛反響。
IBM則提出，上一個十年，他們拋棄了PC，成功轉向了軟體和服務，而這次將遠離服務與咨詢，更多地專注於因大數據分析軟體而帶來的全新業務增長點。IBM執行總裁羅睿蘭認為，「數據將成為一切行業當中決定勝負的根本因素，最終數據將成為人類至關重要的自然資源。」
在國內，網路已經致力於開發自己的大數據處理和存儲系統；騰訊也提出2013年已經到了數據化運營的黃金時期，如何整合這些數據成為未來的關鍵任務。
事實上，自2009年以來，有關「大數據」 主題的並購案層出不窮，且並購數量和規模呈逐步上升的態勢。其中，Oracle對Sun、惠普對Autonomy兩大並購案總金額高達176億美元，大數據的產業價值由此可見一斑。[1-2]

提供依據
編輯
大數據是信息通信技術發展積累至今，按照自身技術發展邏輯，從提高生產效率向更高級智能階段的自然生長。無處不在的信息感知和採集終端為我們採集了海量的數據，而以雲計算為代表的計算技術的不斷進步，為我們提供了強大的計算能力，這就圍繞個人以及組織的行為構建起了一個與物質世界相平行的數字世界[1-2] 。
大數據雖然孕育於信息通信技術的日漸普遍和成熟，但它對社會經濟生活產生的影響絕不限於技術層面，更本質上，它是為我們看待世界提供了一種全新的方法，即決策行為將日益基於數據分析做出，而不是像過去更多憑借經驗和直覺做出。
事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
最讓人吃驚的例子是，社交媒體監測平台DataSift監測了Facebook（臉譜） IPO當天Twitter上的情感傾向與Facebook股價波動的關聯。在Facebook開盤前Twitter上的情感逐漸轉向負面，25分鍾之後Facebook的股價便開始下跌。而當Twitter上的情感轉向正面時，Facebook股價在8分鍾之後也開始了回彈。最終當股市接近收盤、Twitter上的情感轉向負面時，10分鍾後Facebook的股價又開始下跌。最終的結論是：Twitter上每一次情感傾向的轉向都會影響Facebook股價的波動。
這僅僅只是基於社交網路產生的大數據「預見未來」的眾多案例之一，此外還有谷歌通過網民搜索行為預測流感爆發等例子。不僅在商業方面，大數據在社會建設方面的作為同樣令人驚嘆，智能電網、智慧交通、智慧醫療、智慧環保、智慧城市等的蓬勃興起，都與大數據技術與應用的發展息息相關。
「大數據」可能帶來的巨大價值正漸漸被人們認可，它通過技術的創新與發展，以及數據的全面感知、收集、分析、共享，為人們提供了一種全新的看待世界的方法。更多地基於事實與數據做出決策，這樣的思維方式，可以預見，將推動一些習慣於靠「差不多」運行的社會發生巨大變革。

應對措施
編輯
一個好的企業應該未雨綢繆，從現在開始就應該著手准備，為企業的後期的數據收集和分析做好准備，企業可以從下面六個方面著手，這樣當面臨鋪天蓋地的大數據的時候，以確保企業能夠快速發展，具體為下面六點。
目標
幾乎每個組織都可能有源源不斷的數據需要收集，無論是社交網路還是車間感測器設備，而且每個組織都有大量的數據需要處理，IT人員需要了解自己企業運營過程中都產生了什麼數據，以自己的數據為基準，確定數據的范圍。
准則
雖然每個企業都會產生大量數據，而且互不相同、多種多樣的，這就需要企業IT人員在現在開始收集確認什麼數據是企業業務需要的，找到最能反映企業業務情況的數據。
重新評估
大數據需要在伺服器和存儲設施中進行收集，並且大多數的企業信息管理體系結構將會發生重要大變化，IT經理則需要准備擴大他們的系統，以解決數據的不斷擴大，IT經理要了解公司現有IT設施的情況，以組建處理大數據的設施為導向，避免一些不必要的設備的購買。
重視大數據技術
大數據是最近幾年才興起的詞語，而並不是所有的IT人員對大數據都非常了解，例如如今的Hadoop，MapRece，NoSQL等技術都是2013年剛興起的技術，企業IT人員要多關注這方面的技術和工具，以確保將來能夠面對大數據的時候做出正確的決定。
培訓企業的員工
大多數企業最缺乏的是人才，而當大數據到臨的時候，企業將會缺少這方面的採集收集分析方面的人才，對於一些公司，特別是那種人比較少的公司，工作人員面臨大數據將是一種挑戰，企業要在平時的時候多對員工進行這方面的培訓，以確保在大數據到來時，員工也能適應相關的工作。
培養三種能力
Teradata大中華區首席執行官辛兒倫對新浪科技表示，隨著大數據時代的到來，企業應該在內部培養三種能力。第一，整合企業數據的能力；第二，探索數據背後價值和制定精確行動綱領的能力；第三，進行精確快速實時行動的能力。
做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業快速發展。
望採納，謝謝

Ⅲ 有哪些國家將大數據上升為國家戰略

1、美國

美國是第一個將大數據上升至國家戰略並制定行動計劃的國家。2010年，美國總統科學技術顧問在呈給總統奧巴馬的報告中建議：「聯邦政府都要制定一個應對『大數據』的戰略」，大數據對美國政策制定的效果也越來越明顯。

2、英國

2010 年英國政府開放數據門戶網站Data.gov.uk 正式上線以來，英國政府開放數據范圍已涵蓋福利待遇、法律、交通、教育學習、公民權利、工作求職、稅收、移民簽證等15 個領域，涉及人們日常生活的各方面，其中最重要的是將政府財政稅收和公務員收入完全公開與透明化，以達到迎接社會挑戰、打擊腐敗和加強民主、增強政府誠信的目的。

3、澳大利亞

2011年5月，澳大利亞政府公布了《國家數字經濟戰略》報告，旨在確保2020年前基本完成國家寬頻網路的物理建設，使澳大利亞成為世界數字經濟的領軍者。

隨著大數據發展戰略得到全球各國的高度重視，聯合國秘書長執行辦公室於2009 年正式啟動了「全球脈動」(Global Pulse)倡議項目，旨在推動數字數據和快速數據收集和分析方式的創新。

4、中國

2015年黨的十八屆五中全會公報提出要實施「國家大數據戰略」，這是大數據第一次寫入黨的全會決議，標志著大數據戰略正式上升為國家戰略。五中全會，開啟了大數據建設的新篇章。

(3)2012奧巴馬大數據白皮書擴展閱讀

就大數據戰略上升為國家戰略而言，五中全會的公報具有五個方面的重要意義，也對應著相應五個方面的建設努力方向。

1、大數據戰略要堅持黨的領導、政治引領。黨代表人民利益，黨性的本質是人民性，堅持黨的領導就是要堅持在大數據建設中切實保障公共利益、人民利益。

2、大數據戰略要政府表率推動。大數據戰略上升為國家戰略，首先是需要政府做出表率，在開放數據、開放政府建設方面做出表率和積極努力。

3、大數據戰略要立法規范。在開放政府數據，搜集儲存記錄個體、企業、組織信息，交易、再利用大數據資源等方面，要通過國家立法的形式予以規范。

4、保障大數據產業發展的市場均衡與有效競爭秩序。在大數據產業發展中，政府是推動力量，然而企業由於直接從事商業活動，更有動機成為大數據產業發展的主體。然而，由於網路時代，強者愈強的馬太效應更為明顯，大數據產業很容易形成強者愈強的產業壟斷。

5、大數據產業發展要保障公共安全。任何產業的發展不能只顧經濟利益而忽視公共安全。

Ⅳ 大數據發展的三個必要條件

大數據發展的三個必要條件_數據分析師考試

近年來，關於大數據的討論在技術、應用和模式等多個層面展開，已被認為代表著產業發展的方向。但與互聯網公司的諸多實踐相比，被認為具有數據資源先天優勢的電信運營商卻走在了後面，即便放眼全球，電信運營商的大數據應用案例也是屈指可數。移動寬頻和固網寬頻快速發展、OTT的強勢崛起決定了電信運營商必須充分利用自身掌握的數據資源，另闢蹊徑，從而實現網路價值的最大化。因此，電信運營商應用大數據是必然的，而且市場前景十分廣闊。

為了加快大數據的「落地」步伐，幫助業界各方特別是電信運營企業更好地了解大數據，認清大數據戰略發展的重要性，分析發展道路上面臨的難題和障礙，促進大數據產業鏈的成熟，推動大數據的應用推廣。從今天開始，《人民郵電》報特邀來自中興通訊、電信研究院以及三大運營商等單位的專家，推出「掘金大數據」系列報道，以饗讀者。

大數據概念的橫空出世，有賴於短短幾年出現的海量數據。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的。當然，海量數據僅僅是「大數據」概念的一部分，只有具備4個「V」的特徵，也就是Volume（海量）、Velocity（高速）、Variety（多樣）、Value（價值），大數據的定義才算完整，而最後一個Value（價值），恰恰是決定大數據未來走向的關鍵。

大數據發展的三個必要條件

大數據的發展需要三方面的必要條件：數據源、數據交易、數據產生價值的過程。近年來，社交網路的興起、物聯網的發展和移動互聯網的普及，微信、微博、智能手機、電商大行其道，誕生了大量有價值的數據源，比如位置、生活信息等數據，數據源的出現奠定了大數據發展的基礎。大數據時代到來的重要標志，則是大批專業級「數據買賣商」的出現，以及圍繞數據交易形成的貫穿於收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心，則是使用戶從海量的非結構化數據和半結構化數據中獲得新的價值，數據價值是帶動數據交易的原動力。

IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司，在這些互聯網巨頭的帶動下，數據分析技術日漸成熟。2013年6月，愛德華·斯諾登將「棱鏡」計劃公之於眾，「棱鏡門」事件一方面說明大數據技術已經成熟，另一方面也佐證了現在阻礙大數據發展的不是技術，而是數據交易和數據價值。

大數據技術的發展促進了雲計算的落地，雲計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之後，市場終於看到了雲計算的獲利方向，雲計算市場彷彿在一夜之間爆發，在過去一兩年間幾乎已經被國內大方案商、大集成商瓜分殆盡——各地的一級系統集成商與當地政府合作，建雲數據中心，建智慧城市；各大行業的巨頭們在搭建各自行業的混合雲標准，搭建行業雲平台；公有雲也來了，各大IT巨頭想盡辦法申請中國的公有雲牌照。雲計算從概念到落地用了5年時間，最終促成這一切的就是大數據，或者說是市場對數據價值的期待。藉助於國內智慧城市概念的大規模普及，雲計算基礎設施已基本准備就緒，一方面具備了大數據應用的硬體基礎，另一方面迫於回收雲計算投資的壓力，市場急需應用部署，大數據恰如雪中送炭，被市場寄予厚望。

現在，一切的矛頭都指向了「數據如何創造價值？」

56數據創造價值的基石6是數據整合和開放

大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示，60%受調查者稱「目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早」。之所以如此，是由於當前大數據缺乏必需的開放性：數據掌握在不同的部門和企業手中，而這些部門和企業並不願意分享數據。大數據通過研究數據的相關性來發現客觀規律，這依賴於數據的真實性和廣泛性，數據如何做到共享和開放，這是當前大數據發展的軟肋和需要解決的大問題。

2012年美國大選奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊，他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金；他們通過數據挖掘使競選廣告投放效率提升了14%；他們通過製作搖擺州選民的詳細模型，每晚實施6.6萬次模擬選舉，推算奧巴馬在搖擺州的勝率，並以此來指導資源分配。這個數據挖掘團隊，對奧巴馬成功連任功不可沒。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方就是對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題：數據分散在過多的資料庫中。因此，在前18個月，奧巴馬競選團隊就創建了一個單一的龐大數據系統，可以將來自民意調查者、捐資者、現場工作人員、消費者資料庫、社交媒體，以及「搖擺州」主要的民主黨投票人的信息整合在一起。這個整合後的巨大資料庫不僅能告訴競選團隊如何發現選民並獲得他們的注意，還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說，在整個競選活中，沒有數據做支撐的假設很少存在。

2012年3月，美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」，將大數據研究上升為國家意志，對大數據的整合帶來深遠影響。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市的建設目標之一就是實現數據的集中共享。

數據創造價值需要合作共贏的商業模式

隨著雲計算、大數據技術和相關商業環境的不斷成熟，越來越多的「軟體開發者」正在利用跨行業的大數據平台，打造創新價值的大數據應用，而且這一門檻正在不斷降低。因為首先，數據擁有者樂於做這樣的事情，他們能夠以微乎其微的成本獲取額外的收入，提高利潤水平；其次，大數據設備廠商樂於做這樣的事情，因為廠商需要應用來吸引消費者購買設備，發展合作共贏的夥伴關系勢必比單純銷售設備要有利可圖，一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些「軟體開發者」；第三，行業細分市場的數據分析應用需求在不斷加大，對於整個大數據產業鏈來說，創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。

在必然到來的大數據時代，有三種企業將在「大數據產業鏈」中處於重要地位：掌握海量有效數據的企業，有著強大數據分析能力的企業，以及創新的「軟體開發者」。社交網路、移動互聯網、信息化企業、電信運營商都是海量數據的製造者，Facebook公司手中掌握著8.5億用戶，淘寶注冊用戶超過3.7億，騰訊的微信用戶突破3億，這些龐大用戶群所提供的數據，正在等待時機釋放出巨大的商業能量。可以預測，在不久的將來，Facebook、騰訊、電信運營商等海量數據持有者要麼自我發展成為數據分析提供商，要麼與IBM、ZTE等企業密切對接成為上下游合作企業，大數據產業鏈將在某個爆發點到來之際，以令人驚訝的速度成長壯大。

警惕大數據的危害

大數據時代，傳統的隨機抽樣被「所有數據的匯攏」所取代，人們的思維決斷模式，已可直接根據「是什麼」來下結論，由於這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾，因此將更精確、更有預見性。不過，由於大數據過於依靠數據的匯集，一旦數據本身有問題，就很可能出現「災難性大數據」，即因為數據本身的問題，而導致錯誤的預測和決策。

大數據的理論是「在稻草堆里找一根針」，而如果「所有稻草看上去都挺像那根針」呢？過多但無法辨析真偽和價值的信息和過少的信息一樣，對於需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重後果的情況而言，同樣是一種危害。大數據理論是建立在「海量數據都是事實」的基礎上，而如果數據提供者造假呢？這在大數據時代變得更有害，因為，人們無法控制數據提供者和搜集者本人的偏見與過濾。擁有最完善資料庫、最先接受「大數據」理念的華爾街投行和歐美大評級機構，卻每每在重大問題上判斷出錯，這本身就揭示了「大數據」的局限性。

不僅如此，大數據時代造就了一個資料庫無所不在的世界，數據監管部門面臨前所未有的壓力和責任：如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害？如何避免信息不對等，對弱勢群體的利益構成傷害？在有效控制風險之前，也許還是讓大數據繼續待在「籠子」里更好一些。

大數據的經濟價值已經被人們所認可，大數據的技術也已經逐漸成熟，一旦完成數據的整合和監管，大數據爆發的時代即將到來。我們現在要做的，就是選好自己的方向，為迎接大數據的到來，提前做好准備。

以上是小編為大家分享的關於大數據發展的三個必要條件的相關內容，更多信息可以關注環球青藤分享更多干貨

Ⅳ 大數據和智慧交通有哪些應用的案例

智能交通成為改善城市交通的關鍵所在。為此，及時、准確獲取交通數據並構建交通數據處理模型是建設智能交通的前提，而這一難題可以通過大數據技術得到解決。

智能交通整體框架主要包括物理感知層、軟體應用平台及分析預測及優化管理的應用。其中物理感知層主要是對交通狀況和交通數據的感知採集;軟體應用平台是將各感知終端的信息進行整合、轉換處理，以支撐分析預警與優化管理的應用系統建設;分析預測及優化管理應用主要包括交通規劃、交通監控、智能誘導、智能停車等應用系統。

系統利用先進的視頻監控、智能識別和信息技術手段，增加可管理空間、時間和范圍，不斷提升管理廣度、深度和精細度。整個系統由信息綜合應用平台、信號控制系統、視頻監控系統、智能卡口系統、電子警察系統、信息採集系統、信息發布系統等組成。以達到四方面的目標：提高通行能力、減少交通事故、打擊違章事件、出行信息服務。
在各城市建設智慧交通的過程中，將產生越來越多的視頻監控、卡口電警、路況信息、管控信息、營運信息、GPS定位信息、RFID識別信息等數據，每天產生的數據量可以達到PB級別，並且呈現指數級增長。

Ⅵ 美國總統奧巴馬宣布啟動"大數據研究和發展計劃是哪一年

2011年初，美國政府發布了《美國創新戰略:確保美國經濟增長與繁榮》報告。該報版告不僅對奧巴馬上任以權來美國政府採取的所有創新舉措進行了系統歸納，同時也對美國未來科技發展做出了戰略規劃和部署。這意味著美國已經將創新的重心轉移到促進經濟增長與繁榮，以創新「贏得未來」。

Ⅶ 大數據時代發展歷程是什麼

可按照時間點劃分大數據的發展歷程。

Ⅷ 美國競選也瘋狂，特朗普和奧巴馬競選的時候都做過哪些事情

競選本就是一場激烈的競爭，在這場競爭中可以說所有的競爭者都盡自己最大的努力，希望自己的勝算可以更大一些。他們有的人甚至不僅動用自己的個人人脈關系，還會得到家人的幫助，藉此機會來為自己樹立更大的威信。

特朗普和奧巴馬在競爭中都是強烈的競爭對手，他們不僅在政治地位上彰顯出自己強烈的手段，在社交能力或者經濟實力等不同的方面的向人們展示自己堅強的後盾。藉此為自己贏得競爭實力。

Ⅸ 美國政府發布大數據專項研究計劃是哪一年

2012年 3月29日，奧巴馬政府公布了「大數據研發計劃」

Ⅹ 談談美國是如何運用大數據來維護國家安全。300字

美國政府將大數據視為強化美國競爭力的關鍵因素之一，把大數據研究和生產計劃提高到版國家戰略層面。3月29日，權奧巴馬政府宣布投資2億美元啟動《大數據研究和發展計劃》，希望增強收集海量數據、分析萃取信息的能力。以美國科學與技術政策辦公室（OSTP）為首，國土安全部、美國國家科學基金會、國防部、美國國家安全局、能源部等已經開始了與民間企業或大學開展多項大數據相關的各種研究開發。美國政府為之撥出超過2億美元的研究開發預算。奧巴馬指出，通過提高從大型復雜的數字數據集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，改變教學研究，加強國家安全。據悉，美國國防部已經在積極部署大數據行動，利用海量數據挖掘高價值情報，提高快速響應能力，實現決策自動化。而美國中央情報局通過利用大數據技術，將分析搜集的數據時間由63天縮減到27分鍾。