大數據研究和發展倡議原文

『壹』 推動大數據高速發展和數據交易的時間

大數據概念最早的提出者現已不可考，但早在1980年，未來學家托夫勒在其所著的《第三次浪潮》中就提到「大數據」一詞。

2001年麥塔集團分析員道格·萊尼指出數據增長的挑戰和機遇有三個方向：量（Volume，數據大小）、速（Velocity，資料輸入輸出的速度）與多變（Variety，多樣性），現在這被認為是大數據的三個特性。

2011年麥肯錫正式定義了大數據的概念。

2012年《紐約時報》的一篇專欄中寫到，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。大數據開始跟時代掛鉤，在當時人們並不以為然，甚至許多人認為這不過是商學院或咨詢公司嘩眾取寵罷了。現在「大數據時代」已經變成了人盡皆知的口頭禪。

2012年維克托·邁爾·舍恩伯的《大數據時代》開始在國內風靡，推動了國內大數據的發展，許多人大數據的啟蒙也是來源於這本書。

2010後雲計算的成熟讓大數據不再是紙上談兵，大數據技術有了真正實現的可能性。

我從三個方面梳理了下大數據發展的時間線：政府推動、大數據技術、大數據價值。

政府推動：

2009——美國政府開放政府數據，這一行動使得從肯亞到英國范圍內的各國政府相繼效仿。

2010——德國聯邦政府啟動「數字德國2015」戰略，將物聯網引入製造業，打造智能工廠，工廠通過CPS（網路物理系統）實現在全球互聯。

2011——工信部把信息處理技術作為四項關鍵技術創新工程之一，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析等大數據重要組成部分。

2012——美國政府在白宮網站發布《大數據研究和發展倡議》，這一倡議標志著大數據已經成為重要的時代特徵。之後美國政府宣布2億美元投資大數據領域，大數據技術從商業行為上升到國家科技戰略。

聯合國在紐約發布大數據政務白皮書，總結了各國政府如何利用大數據更好地服務和保護人民。

2013——英國政府宣布注資6億英鎊發展8類高新技術，其中，1.89億英鎊用來發展大數據技術。

歐盟實施開放數據戰略，旨在開放歐盟公共管理部門的所有信息。

2014——數據開放運動已覆蓋全球44個國家。國務院通過《企業信息公示暫行條例（草案）》，要求在企業部門間建立互聯共享信息平台，運用大數據等手段提升監管水平。

2015——五中全會的「十三五」規劃中將大數據作為國家級戰略。

『貳』 大數據真的是「未來的新石油」

大數據真的是「未來的新石油」

當前IT業最熱門的話題應該就是大數據了，這個兩年前才被炒作起來的概念，現在已無處不在，占居了互聯網的半壁江山，它與雲計算一起成為未來信息技術發展最重要的內容。處於IT行業的人們，如果不知道大數據，不了解大數據所創造的那些神話般的故事，就好象已經跟不上信息技術的發展，成為時代的落伍者了。

那麼什麼是大數據？現在還沒人能給出一個確切的答案，它同雲計算一樣，是一個形象但卻籠統的概念。大家一致的理解是從4V的角度來描述這一概念的內涵。所謂4V就是說大數據具有體量巨大（Volume）、種類繁多（Variety）、實時處理（Velocity）、數據真實（Veracity）的特性。信息技術的發展，使互聯網遍布世界的每個角落，各種各樣的信息都可通過網路進行傳播。世上所發生的每件事情，人類所進行的每項思考，社會所進行的每點進步，知識所增加的每種內容都可通過互聯網進行匯集。網路技術、感測技術與射頻技術使各種事物都可產生大量數據。事物的內容、時空、方位、特性都可轉化為數據，這些經濟的、社會的、規范的、雜亂的、簡單的、復雜的等各式各樣的數據代表了不同事物的內涵。代表不同事物的海量數據可以通過網路進行匯集，匯集後的整體數據反應了事物的本質特性或發展趨勢。而這種反應事物本質特性或發展趨勢的數據具有一定的價值，通過高性能計算機的數據提取、價值分析、數據表達等大數據技術，可以從大數據中把這些價值提取出來。不同的需要可以提取出不同的價值，所有的價值都可以為人類服務，這就是大數據的本質。

大數據，這一鮮明而又形象的概念之所以如此引人注目，是因為許多像亞馬遜、谷歌這樣的大公司為它杜撰了無數神話般的故事。每一個故事都告訴人們，大數據具有無所不能的洞察力。它可以象偉大的先知一樣預測未來，可以利用玄妙的相關關系推測人的喜好，可以利用寵大的數據窺探人的內心，可以利用趨勢分析引導人的行為，甚至可以用事物發展曲線來控制人的思維，改變人類社會的發展方向。

大數據利用最多的地方是商業領域。大家都知道尿布與啤酒的故事，通過大數據分析，找出這兩個毫不相乾的事物之間的關聯，利用推薦系統，向不同用戶提供不同的產品推銷方案，提高產品的銷售量；另一個眾所周知的故事就是通過購物記錄來分析少女懷孕的案例，通過分析用戶的購買行為，推測用戶的現在狀態與未來需求。盡管這一案例因為侵犯別人隱私而廣受批評，但卻說明了大數據分析在商業領域的價值。還有無數這樣或那樣的故事，都說明大數據在分析人們的喜好與購買習慣上的巨大作用，利用這種分析，商家可以更好地進行營銷。權威的市場調查機構說，大數據將會改變未來的商業規則，實時競價系統（RTB）、更加智能的推薦系統以及基於大數據的商業智能分析（BA），使企業能夠生產更加適合用戶喜好的產品，能夠找到向用戶推銷產品更好的方法，能夠為用戶提供更好的服務，能夠利用有限的資源產生更多的效益，大數據的這些功能將會使經濟社會更快更好地發展。

大數據的另一個應用領域就是社會公共領域。利用大數據，政府可以更好地管理社會，為社會提供更好的公共服務；教育部門可以更好地獲取與傳播知識，提高民眾的素質；衛生部門可以預測重大流行疾病的發生，提前作出防範預警；安全部門可以監控社會狀況，確保國家不受破壞。谷歌公司前幾年利用大數據繪制了「世界流感地圖」^[1]用來幫助人們了解世界各地流感的發病情況；利用大數據預測禽流感在各地的爆發趨勢，為民眾提供預防建議，向衛生部門提供監控資料。在公共安全領域，大數據也有巨大的作用，如美國就建立了基於各種感測技術與大數據技術的網路監控系統，預測重大社會公共事件的發生，比如爆發大規模遊行活動、可能遭受的恐怖襲擊等。

隨著科技的發展，大數據的應用也延伸到個人服務領域。穿戴式設備的產生標志著信息技術的發展到了以人為中心的階段。像谷歌眼鏡、蘋果手錶這樣的穿戴式設備把技術與人體結合在起來，使人類可以更加便捷得獲取信息。這些穿戴式設備利用大數據為個人提供學習、生活、健康等方面的數據服務。大數據通過穿戴式設備發揮其作用，同時穿戴式設備本身也成為收集數據、構建大數據的來源。穿戴式設備作為一種工具，大數據是其服務的內容。

大數據有如此巨大的作用，讓一些信息技術發達的國家倍加關注，很多大型信息公司也把大數據當作公司未來發展的重點。美國是當今世界最為重視大數據發展的國家，也是利用大數據較好的國家。美國政府把大數據作為未來信息技術發展的重中之重，認為大數據將引起信息技術發展的革命，改變未來社會的發展模式。2012年3月美國政府發布了《大數據研究和發展倡議》，把大數據稱作「未來社會發展的新石油」，把發展大數據研究提到國家戰略的高度上來。為掌控這一「未來的新石油」，引領世界技術發展方向，聯邦政府制定了大數據研究發展計劃，推進相關研究機構進行科技研究和創新發現。改進從海量數據中提取價值的方法，提高從數據中獲取知識的能力，加速美國在科技領域中的前進步伐，確保美國在信息技術領域的領先地位。美國政府指定了國家科學基金（NSF）、國家衛生研究院（NIH）、能源部（DOE）、國防部（DOD）、國防部高級研究計劃局（DARPA）、地質勘探局（USGS）6個聯邦部門來負責推進大數據的研究，並計劃投資2億美元用來研究收集、儲存、保留、管理、分析和共享海量數據的技術。

政府的投入與政策的支持，使那些本來就注重大數據研究的公司更加主動，紛紛加大對大數據研發與利用的投入，取得了不菲的成績。如Apache基金會開發的Hadoop分布式處理系統，經過不斷發展完善，現已成為大數據處理的標准結構；微軟開發的Windows Azure平台使大數據的處理更加人性化、簡易化；還有其它公司，經過不斷的創新研究讓大數據技術更加完善、更加實用。技術的發展使大數據的價值更加突顯，人們對它的期望也不斷提高。據說谷歌公司利用大數據不但可以預測流感的發生，也可預測美國的經濟復甦情況；不但可以預測明年服裝的流行色，也可預測某位娛樂名星是否可以紅遍世界。谷歌公司最近一個廣為流傳的大數據案例就是，在2013年的奧斯卡電影節上，它預測准了大部分的奧斯卡獎項得主。Facebook也是利用大數據的典型公司，大數據是這家社交網站最大的價值所在。通過對大量社交信息的分析，Facebook可以了解用戶的生活習慣與購買喜好，利用定向推薦廣告，為這家年輕的公司每年創造上百億的產值。

還有許多真實的或杜撰的有關大數據的美妙故事，每一個都反應了大數據在某一領域的巨大作用，這些故事的匯編，給人們描繪了一個大數據主宰的奇幻世界。在那裡，人們利用大數據可以預測任何一件事情的發展趨勢，可以完成一切不可能完成的事情。每一個人都是先知、都是智者，在大數據的支持下，每一個人都通天文、曉地理，前知一千後知八百，如齊天大聖般十八般武藝樣樣精通。然而真的是這樣嗎？

可惜的是，理想很豐滿，實現很骨感。至少在當前大數據還沒有那麼大神奇，就連谷歌公司所說的利用人們的檢索詞可以用來預測流感的發展這種人人都相信的故事也沒能發生。當H7N9在中國出現的時候，谷歌沒能給出任何有關這一流感發生與發展的預測，更不用說事先給民眾發出預警，提醒人們防範了；歐洲的金融危機持續了五六年，至今沒有一家大數據公司能預測這場金融危機何時結束，就連未來是向好還是向壞發展的方向都不能預測；在商業領域，個性化廣告推薦這種理應可以做好的事，大數據也沒能表現出其超強的功用。最近經過大數據改造的淘寶網個性推薦系統沒比五六年前好多少；號稱利用大數據使圖書銷售量大幅增加的亞馬遜網站上推薦的書，沒有一本是我喜觀的。

2013年4月15號，波士頓馬拉松比賽現場發生了震驚世界的恐怖襲擊^[4]。美國人悲傷地發現，那些基於現代信息技術與大數據分析的網路監控系統，並沒能確保國家的安全，大數據分析在防範恐怖襲擊方面，並不象人們所期望的那樣有效。看來這個被稱為未來技術競爭至高點的大數據，在當下還不能如人們所期望的那樣有用。

產生如此悲觀想法的原因，一是雖然大數據可能代表了未來信息技術發展的方向，具有光明的前景。但是在人們的意識與相關的配套技術還沒有發展起來的情況下，大數據還不能發揮其巨大作用。二是大數據還沒有一個確切的定義，它所具有的內涵還不能被清晰地詮釋。美國把大數據被稱作「未來的新石油」，然而石油是不可再生的，數據卻是隨時隨地都在產生，越是往後產生的數據越多，數據的准確性越高，對數據的處理能力越強，這讓人們對現在就收集並佔有大量數據的必要性產生懷疑；還有從大數據中提取價值首先要有需求，沒有需求就不知道從大數據中提取什麼，當人們的思維還沒有發展到可以完全掌控數據，還不知道大數據到底有什麼用處時，很難對其產生需求；沒有需求就沒有數據收集的方向，沒有方向的收集就會造成巨大浪費；在方向不明的時候，唯一可做的就是收集所有可能收集到的數據，然而這樣不但會給數據的存儲、管理造成具大的成本，也會產生一些法律的問題，例如是否會侵犯他人隱私等。再有，隨著科技的發展，穿戴式設備會不斷智能化並在生活中得以普及，這種以人為中心的智能設備本身就會不斷分析所取得的數據，提取個人的喜好等特性，學習與適應人個的品性，具有人的品性特徵，這樣就使得從大數據中分析人的品性失去了意義。

以上這一切都讓人們對大數據的發展未來產生了懷疑。因此，當美國制定大數據發展戰略，把它看成「未來的新石油」時，世界其它國家雖然也十分重視這一技術的發展，卻沒有制定相關發展戰略。這有可能是其它國家在大數據技術方面落後於美國，還不能制定明確的發展目標，也可能是人們對這一技術的發展前景還沒有一個清楚的認識，無法確定大數據是否真的可以引領未來技術的發展方向。因此，我們還是暫時忘了大數據吧！別再關注那些炙熱的概念炒作，靜下心來認認真真地想一想大數據的真正內涵。

以上是小編為大家分享的關於大數據真的是「未來的新石油」的相關內容，更多信息可以關注環球青藤分享更多干貨

『叄』 大數據的歷史

一、大數據的陷阱作文

李娜再度奪得大滿貫，超越了張德培的華人大滿貫紀錄，非舉國體制下的奇跡造就了舉國的愉悅。

在總結李娜成功因素的時候，也再次看到了這樣的言論：是大數據起到了重要的作用。但這次李娜奪冠，最靠譜的解釋就是李娜在卡洛斯的幫助下大大提升了心理層面的戰鬥力。

在技術層面領先的前提下，李娜在整場比賽中克服了節奏問題，她具備了一顆冠軍的心臟。2012年9月6日，代表亞洲網球至高水平的中國選手李娜在美國迎戰名將小威廉姆斯。

當時，IBM公司在綜合了美網過去8年的全部比賽數據之後，為參賽球員制定了「Keys to the march」的比賽制勝策略。李娜一方獲得贏球的關鍵包括3個指標：1.一發得分率超過69%;2.4-9拍相持中得分利率要超過48%:3.發球局30-30或40-40時得分率要超過67%。

比賽結果是，李娜潰敗。比賽結束後，IBM高調地宣布李娜僅僅完成了三項制勝策略中的項，而小威廉姆斯則完成了自己三項制勝策略中的兩項。

於是，很多人就順著IBM的思路問，李娜為什麼不照著BM的策略去打球？其實，當當事人的主觀願望不積極的時候，大數據對他們來說不過是噪音而已。同樣，數據也會因為主觀意願具有欺騙性。

我們很多時候都會被誤導，認為大數據的作用是讓歷史提示未來。其實不然。

在網球這樣的領域里，歷史數據甚至常常會成為陷阱。有意思的是，在另一場女子網球比賽中，一位球員做到了IBM為其制定的三項指標中的兩個，她卻失敗了。

而勝利的一方，只完成了一個指標。

二、大數據時代發展歷程是什麼

可按照時間點劃分大數據的發展歷程。

大數據時代發展的具體歷程如下：2005年Hadoop項目誕生。 Hadoop其最初只是雅虎公司用來解決網頁搜索問題的一個項目，後來因其技術的高效性，被Apache Software Foundation公司引入並成為開源應用。

Hadoop本身不是一個產品，而是由多個軟體產品組成的一個生態系統，這些軟體產品共同實現全面功能和靈活的大數據分析。從技術上看，Hadoop由兩項關鍵服務構成：採用Hadoop分布式文件系統（HDFS）的可靠數據存儲服務，以及利用一種叫做MapRece技術的高性能並行數據處理服務。

這兩項服務的共同目標是，提供一個使對結構化和復雜數據的快速、可靠分析變為現實的基礎。2008年末，「大數據」得到部分美國知名計算機科學研究人員的認可，業界組織計算社區聯盟 （puting munity Consortium），發表了一份有影響力的白皮書《大數據計算：在商務、科學和社會領域創建革命性突破》。

它使人們的思維不僅局限於數據處理的機器，並提出：大數據真正重要的是新用途和新見解，而非數據本身。此組織可以說是最早提出大數據概念的機構。

2009年印度 *** 建立了用於身份識別管理的生物識別資料庫，聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發之類的問題。同年，美國 *** 通過啟動://Data.gov網站的方式進一步開放了數據的大門，這個網站向公眾提供各種各樣的 *** 數據。

該網站的超過4.45萬量數據集被用於保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區域內失業率的信息，這一行動激發了從肯亞到英國范圍內的 *** 們相繼推出類似舉措。2009年，歐洲一些領先的研究型圖書館和科技信息研究機構建立了夥伴關系致力於改善在互聯網上獲取科學數據的簡易性。

2010年2月，肯尼斯ž庫克爾在《經濟學人》上發表了長達14頁的大數據專題報告《數據，無所不在的數據》。庫克爾在報告中提到：「世界上有著無法想像的巨量數字信息，並以極快的速度增長。

從經濟界到科學界，從 *** 部門到藝術領域，很多方面都已經感受到了這種巨量信息的影響。科學家和計算機工程師已經為這個現象創造了一個新詞彙：「大數據」。

庫克爾也因此成為最早洞見大數據時代趨勢的數據科學家之一。2011年2月，IBM的沃森超級計算機每秒可掃描並分析4TB（約2億頁文字量）的數據量，並在美國著名智力競賽電視節目《危險邊緣》「Jeopardy」上擊敗兩名人類選手而奪冠。

後來 *** 認為這一刻為一個「大數據計算的勝利。」 相繼在同年5月，全球知名咨詢公司麥肯錫（McKinsey&pany）肯錫全球研究院（MGI）發布了一份報告——《大數據：創新、競爭和生產力的下一個新領域》，大數據開始備受關注，這也是專業機構第一次全方面的介紹和展望大數據。

報告指出，大數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。

報告還提到，「大數據」源於數據生產和收集的能力和速度的大幅提升——由於越來越多的人、設備和感測器通過數字網路連接起來，產生、傳送、分享和訪問數據的能力也得到徹底變革。2011年12 月，工信部發布的物聯網十二五規劃上，把信息處理技術作為4 項關鍵技術創新工程之一被提出來，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析，這都是大數據的重要組成部分。

2012年1月份，瑞士達沃斯召開的世界經濟論壇上，大數據是主題之一，會上發布的報告《大數據，大影響》（Big Data, Big Impact） 宣稱，數據已經成為一種新的經濟資產類別，就像貨幣或黃金一樣。2012年3月，美國奧巴馬 *** 在白宮網站發布了《大數據研究和發展倡議》，這一倡議標志著大數據已經成為重要的時代特徵。

2012年3月22日，奧巴馬 *** 宣布2億美元投資大數據領域，是大數據技術從商業行為上升到國家科技戰略的分水嶺，在次日的電話會議中， *** 對數據的定義「未來的新石油」，大數據技術領域的競爭，事關國家安全和未來。並表示，國家層面的競爭力將部分體現為一國擁有數據的規模、活性以及解釋、運用的能力；國家數字 *** 體現對數據的佔有和控制。

數字 *** 將是繼邊防、海防、空防之後，另一個大國博弈的空間。2012年4月，美國軟體公司Splunk於19日在納斯達克成功上市，成為第一家上市的大數據處理公司。

鑒於美國經濟持續低靡、股市持續震盪的大背景，Splunk首日的突出交易表現尤其令人們印象深刻，首日即暴漲了一倍多。Splunk是一家領先的提供大數據監測和分析服務的軟體提供商，成立於2003年。

Splunk成功上市促進了資本市場對大數據的關注，同時也促使IT廠商加快大數據布局。2012年7月，聯合國在紐約發布了一份關於大數據政務的白皮書，總結了各國 *** 如何利用大數據更好地服務和保護人民。

這份白皮書舉例說明在一個數據生態系統中，個人、公共部門和私人部門各自的角色、動機和需求：例如通過對價格關注和更好服務的渴望，個人提供數據和眾包信息，並對隱。

三、大數據時代的產生背景

進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。

它已經上過《 *** 》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。 數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。

正如《 *** 》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里·金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是 *** ，所有領域都將開始這種進程。」

。

四、大數據時代是什麼意思

大數據時代：最早提出大數據時代到來的是全球知名咨詢公司麥肯錫， 大數據在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為近年來互聯網和信息行業的發展而引起人們關注。

大數據提出的背景：進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。它已經上過《 *** 》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。

數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。正如《 *** 》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。

哈佛大學社會學教授加里·金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是 *** ，所有領域都將開始這種進程。」 (3)大數據研究和發展倡議原文擴展閱讀 大數據影響 現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。

隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。大數據（Big data）通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。

大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。 在現今的社會，大數據的應用越來越彰顯他的優勢，它佔領的領域也越來越大，電子商務、O2O、物流配送等，各種利用大數據進行發展的領域正在協助企業不斷地發展新業務，創新運營模式。

有了大數據這個概念，對於消費者行為的判斷，產品銷售量的預測，精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。「大數據」在互聯網行業指的是這樣一種現象：互聯網公司在日常運營中生成、累積的用戶網路行為數據。

這些數據的規模是如此龐大，以至於不能用G或T來衡量。大數據到底有多大？一組名為「互聯網上一天」的數據告訴我們，一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當於美國兩年的紙質信件數量）。

發出的社區帖子達200萬個（相當於《時代》雜志770年的文字量）；賣出的手機為37.8萬台，高於全球每天出生的嬰兒數量37.1萬…… 截止到2012年，數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的數據。

而到2012年為止，人類生產的所有印刷材料的數據量是200PB，全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。

而到了2020年，全世界所產生的數據規模將達到今天的44倍。 每一天，全世界會上傳超過5億張圖片，每分鍾就有20小時時長的視頻被分享。

然而，即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。這樣的趨勢會持續下去。

我們現在還處於所謂「物聯網」的最初級階段，而隨著技術成熟，我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%，達到了4000億美元。

大數據的精髓 大數據帶給我們的三個顛覆性觀念轉變：是全部數據，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。A.不是隨機樣本，而是全體數據：在大數據時代，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不再依賴於隨機采樣（隨機采樣，以前我們通常把這看成是理所應當的限制，但高性能的數字技術讓我們意識到，這其實是一種人為限制）； B.不是精確性，而是混雜性：研究數據如此之多，以至於我們不再熱衷於追求精確度；之前需要分析的數據很少，所以我們必須盡可能精確地量化我們的記錄，隨著規模的擴大，對精確度的痴迷將減弱；擁有了大數據，我們不再需要對一個現象刨根問底，只要掌握了大體的發展方向即可。

適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力； C.不是因果關系，而是相關關系：我們不再熱衷於找因果關系，尋找因果關系是人類長久以來的習慣，在大。

五、為什麼大數據如此重要

大數據是一種現代雲基礎架構，它包含了多種與其他人連接和共享信息的方法。它推動了「物聯網」的發展，如通過社交網站連接人、通過共享朋友或網路來尋找人們之間互相認識的可能性。大數據的背後運行著人工智慧，而它對於大多數人而言是完全透明的，人們不知道背後有這樣的技術。大數據位於人們日常使用的智能手機之後，然後人們通過它給移動互聯網貢獻信息，即使他們並沒有意識到這一點。

為什麼大數據如此重要？

第一，對大數據的處理分析正成為新一代信息技術融合應用的結點。移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。雲計算為這些海量、多樣化的大數據提供存儲和運算平台。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。

第二，大數據是信息產業持續高速增長的新引擎。面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。

第三，大數據利用將成為提高核心競爭力的關鍵因素。各行各業的決策正在從「業務驅動」 轉變「數據驅動」。

總結

在大數據時代到來的時候，要用大數據的思維去發掘大數據的潛在價值。大數據的意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。從前我們所了解的數據是冷冰冰的、死氣沉沉的，被存到冷備份默默地等著人拿出來用，我們對待數據的感覺十分消極，要先想清楚其用處才開始分析應用。現在，數據時代來臨了，人們正在試圖點燃數據，使其變熱，賦予生命。所謂「活數據」，是動態的數據，流通的數據，因互動而產生，因產生而互動，是自然演化的數據，要用大數據的思維去考慮這些數據怎樣才能帶來效益。未來大數據的發展前景非常好，與大數據相關的職業比如數據挖掘師，數據分析師等必定會有廣闊的發展空間。

六、如何實現大數據量資料庫的歷史數據歸檔

這個問題是這樣的：

首先你要明確你的插入是正常業務需求么？如果是，那麼只能接受這樣的數據插入量。

其次你說資料庫存不下了 那麼你可以讓你的資料庫上限變大 這個你可以在資料庫裡面設置的 裡面有個資料庫文件屬性 maxsize

最後有個方法可以使用，如果你的歷史數據不會對目前業務造成很大影響 可以考慮歸檔處理 定時將不用的數據移入歷史表 或者另外一個資料庫。

注意平時對資料庫的維護 定期整理索引碎片

『肆』 大數據時代的產生背景

一、大數據時代城市管理的機遇：
首先,有利於數字化城市建設。城市化過程中出現的管理問題，傳統的城市管理方式早已對我國出現的城市問題束手無策,在大數據時代到來的背景下,數字化城市建設就呼之欲出。
其次,有利於電子政務建設。長期以來,我國政府在處理公共事務時都基本採用了傳統的處理方式,紙質化的模式占據了主要地位。隨著信息技術的不斷更新以及大數據時代的到來,電子政務也隨之應運而生。由於大數據時代的特點以及不斷更新發展,電子政務的形式也不斷得到更新。
最後,有利於智慧城市建設。智慧城市建設則是在大數據技術上產生的城市建設和管理方案。可見,大數據時代的到來更加有利於我國的智慧城市建設,為智慧城市的最終建成提供真實可靠的信息基礎。會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
二、大數據時代城市管理的挑戰 ：
大數據時代,機遇存在的同時也不可避免會遇到許多挑戰,數據開放不足、數據共享不足、數據質量不優等等都面臨著嚴峻的挑戰。
首先，數據開放不足。數據是信息的重要載體,信息的公開在一定意義上就是數據的公開。在所有的數據公開中,政府相關數據公開尤為引人矚目。國外早就對數據公開確立了「公開為原則,不公開為例外」的原則,我國也有類似規定,但是真實執行情況令人堪憂。
其次，數據共享不足。就目前來看,誰掌握了大量真實可靠的信息,誰就掌握了主動權,信息在一定程度上就是權威的象徵,權力和利益的象徵。再者,政府各部門大部分存在利己傾向, 信息就會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
然後，數據質量不優。數據質量問題直接影響依靠數據獲得的信息的真實有效性,最終影響整體決策的有效性。數據質量主要包括數據的真實性、完整性和有效性。數據在收集、整合、存儲和使用四個階段當中,每個階段都極有可能出現數據質量問題。在我國城市管理中,各級各部門每天都會面對大量繁瑣的數據,數據收集渠道主要有下級單位上報數據、調查統計、普查等等,每一個渠道也同樣會有很多因素影響數據質量。

『伍』 大數據的產生與發展現狀研究

摘 要：大數據的產生給未來信息技術帶來新的機遇與挑戰。大數據對數據處理的有效性、實時性提出了更高要求，需要根據大數據的特點對當前數據處理技術實施變革，從而形成更有益於大數據採集、存儲、處理、管理、分析、共享的新興技術。本文從大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。

關鍵詞 ：大數據 物聯網 信息處理 海量計算

一、大數據的產生與發展現狀

隨著物聯網、雲計算等信息技術的飛速發展，大數據技術(Big Data)也越發進入人們的視線。大數據是用傳統方法或工具很難處理或分析的數據信息。目前，人們對大數據的理解還不夠全面和深入，關於大數據的含義也沒有一個統一的定義。亞馬遜大數據科學家John Rauser認為：大數據是超過任何一台計算機處理能力的龐大數據量。Informatica 的中國區首席顧問但彬指出：大數據是海量數據與復雜類型的數據的結合。而維基網路則把大數據定義成諸多大而復雜的、難以用當前資料庫處理的數據集合。

大數據研究受到國內外學術界和工業界的廣泛關注，已成為當今信息時代全世界討論的熱點。2008年，Nature雜志就推出大數據專刊，計算社區聯盟也在同一年發表了報告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，報告闡述了解決大數據問題所需的關鍵技術以及所面臨的挑戰。美國奧x政府於2012年3月在白宮網站發布了《大數據研究和發展倡議》，提出了通過收集、處理海量、復雜的數據信息，從而提升能力，加快科學和工程領域的創新步伐，轉變學習教育模式，強化美國本土的安全」。2011年1月，微軟公司同惠普公司合作開發了一系列能夠提升生產力，同時提高決策速度的設備。此外，歐盟委員會也提出駕駁大數據浪潮的戰略思路，日本發布的《面向 2020 的 ICT綜合戰略》也提出需要構造大量豐富的數據基礎。

近年來，我國也積極開展對大數據的研究。2011年10月，工信部確認京滬深杭等 5 城市為「雲計算中心」試點城市。2012年6月，中國計算機學會青年計算機科技論壇也舉辦了「大數據時代，智謀未來」學術報告研討會。大數據及其科學研究方法涉及應用領域很廣，並將與國計民生密切相關的科學決策、金融工程以及知識經濟領域緊緊接合。

二、大數據的特點

目前，企業界和學術界都一致認為，大數據具有4個「V」特徵，即：容量(Volume)、種類(Variety)、速度(Velocity)和至關重要的`價值(Value)。

(1) 容量(Volume)巨大。海量的數據集從TB 級別提升到PB 級別。

(2) 種類(Variety)繁多。大數據數據源有多種，數據格式和種類不同於以前所規定的結構化數據范疇。

(3)價值(Value)密度低。如視頻的例子，在不間斷連續監控的過程中，可能有意義的數據僅有一兩秒。

(4)速度(Velocity)快。包含大量實時、在線數據處理分析的需求1秒鍾定律。

三、大數據應用的領域

大數據產業的發展將推動全球經濟由粗放型向集約型轉變，這將對提升企業整體競爭力和政府監管能力具有意義深遠的影響。

商業作為大數據的重要應用領域。沃爾瑪公司通過對消費者購物行為等一系列非結構化數據的分析，了解不同顧客的購物習慣，公司從所銷售的數據進行分析，從而選出適合在一起搭配出售的商品;淘寶也針對買家開設了大數據平台，為客戶量身打造了一整套完善的網購體驗產品。

大數據在金融業也起到了至關重要的作用。美國Equifax公司利用大數據技術，通過對其的資料庫中與財務有關的記錄海量信息進行索引處理和交叉分享，從而得到客戶的個人信用等級，以推斷出客戶的支付需求與能力。

隨著大數據在醫療與生命科學研究過程中的廣泛應用和不斷擴展。2010年，中國公布的《十二五規劃》指出：要重點建設國家級、省級和地市級三級醫療衛生信息平台，建設電子病歷和電子檔案兩個最為基礎的資料庫。各級醫院也將在醫療信息倉庫、數據中心等領域加大投入，醫療數據信息的存儲將愈加被關注，醫療信息中心的關注焦點也將由傳統的計算領域轉為存儲領域。

除此之外，大數據在製造業領域也有著廣闊的應用。製造業企業積累了廣泛的數據信息，在開展對業務數據進行技術管理的同時，企業需要通過大數據處理技術來幫助決策者從資料庫儲存的海量信息中找到有價值的信息，並且對其進行分析處理，從而增強決策的正確性、規避風險。

四、大數據所面臨的挑戰

大數據技術使人們能夠更好地利用之前不能使用的各個數據類型，找出被忽略的信息，促進企業組織更加高效、智能。但隨著對大數據研究的不斷深入，人們也更加意識到當大數據技術向人們敞開「方便之門」的同時，也帶來了眾多的挑戰：

(1)大數據需要更為專業化的管理技術人才。

(2) 大數據的合理利用需要解決容量大、類別多和時效性高的數據處理問題。

(3)大數據的利用對信息安全提出了更高要求。

(4)大數據的集成與管理問題。

這些挑戰已成為關繫到未來大數據發展的重要因素，同時也成為未來引領大數據發展的推動力。

五、結束語

大數據已經逐步滲透到人們工作生活的諸多領域中，對於大數據的研究也在不斷的深化。本文針對大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。大數據的發展還處於初級階段，還有更為廣闊的空間需要人們不斷開拓，如何合理地利用大數據、更加高效地處理大數據來為人們服務仍需要廣大研究者不斷地研究和探索。

參考文獻：

[1]劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報，2014，46(6)：957- 972.

[2]嚴霄鳳，張德馨.大數據研究[J].計算機技術與發展，2013，23(4)：168-172.

[3]劉俊.基於大數據流的Multi-Agent系統模型研究[J].計算機技術與發展， 2007，17(5)：166-169.

『陸』 大數據——大價值、大機遇、大變革（全彩）的序

「這是最好的時代，也是最壞的時代；這是智慧的時代，也是愚蠢的時代」。每天，有無數的企業在建立，也有無數的企業在消失。互聯網讓信息和數據快速積累和流動，世界變得更透明，更平坦。
誰能想像五年之後，一個不懂數據的公司如何生存和發展？數據革命正在瓦解已經建立的產業和商業模式，你、我都准備好了嗎？
一切始於緊迫感
自2012年3月華盛頓宣布「大數據研究和發展倡議」，英國、日本、德國、加拿大等國紛紛效仿，推出與大數據應用相關的戰略研究，自此一場關於「大數據」的戰略爭奪已經拉開戰幕。
能源在消耗中面臨枯竭，從而引發各國對能源的爭奪和對危機的恐懼；數據不但不會因為佔有而枯竭，還會隨著使用和傳播不斷的豐富與生長。可以想像，數據將成為未來世界的DNA。但擁有的數據規模、質量和應用帶來的馬太效應將形成明顯的數據資源區隔和競爭優勢，因此大數據成為各國爭奪的下一個戰略前沿。這是一場沒有硝煙的戰爭，隨著「智慧經濟」的崛起，採集數據、掌握數據、運用數據必將成為國家、企業的核心競爭力。
大數據正在為我們呈現一個全新的信息社會、智慧社會，世界經濟在迎來新引擎的同時，格局也醞釀著新變化。面對歷史的又一次機遇，我們將扮演何種角色、如何應對，這是值得我們每一位認真思考和探究的問題。
本書從社會、經濟、商業和技術等多角度展現了大數據將帶來的改變和促進，同時對其發展趨勢、實施中的問題和風險也做了思考。
行勝於言，我們用最短的時間完成此書的編撰就是希望每位閱讀此書的讀者都能從中得以觸動和借鑒，從而關注大數據及大數據下的發展。
李志剛

『柒』 大數據對經濟政治生活的影響 2000字

大數據時代是一個將數據當作核心資產的時代，數據呈現出戰略化、資產化和社會化等特徵。隨著數據作為國家戰略資產意識的增強，以及越來越多的國家將數據管理上升到戰略層面，大數據勢必會以更加積極的姿態進入到公共管理和政府治理范疇內。無論是把大數據單純作為一種技術，還是一種抽象理念，或者是一個時代背景，它都將對政府治理理念、治理範式、治理內容、治理手段等產生不同程度的影響。本文試圖將大數據這一新概念與政府治理有機結合起來，闡述大數據時代背景下的政府治理將會發生什麼新變化，面臨哪些機遇和挑戰。
一、「大數據」概念的界定
（一）「大數據」概念的提出與發展
2008年9月4日《自然》（Nature）刊登了一個名為「Big Data」的專輯，首次提出大數據（Big Data）概念，該專輯對如何研究PB級容量的大數據流，目前正在制訂的、用以最為充分地利用海量數據的最新策略進行了探討。[1]2011年5月，EMC（全球最大的外置存儲硬碟供應商）舉辦了主題為「雲計算相遇大數據」的大會，首次拋出了「大數據」（Big Data）的概念。緊隨其後，IBM、麥肯錫等眾多國外機構發布了「大數據」的相關研究報告，2011年6月麥肯錫全球研究所發布研究報告——《大數據的下一個前沿：創新、競爭和生產力》（Big data: The Next Frontier for Innovation, Competition, and Proctivity）[2]，首次提出「大數據時代」來臨。此後，聯合國、世界經濟論壇也紛紛關注信息時代海量數據對社會經濟發展所帶來的沖擊，2012年5月聯合國「全球脈沖」(Global Pulse)計劃發布《大數據開發：機遇與挑戰》（Big Data for Development: Challenges & Opportunities）[3]報告，闡述了大數據帶來的機遇、主要挑戰和大數據應用。2011、2012年達沃斯世界經濟論壇將大數據作為專題討論的主題之一，發布了《大數據、大影響：國際發展新的可能性》（Big Data, Big Impact: New Possibilities for International Development）[4]等系列報告。
奧巴馬政府創造性地將「大數據」概念全面引入到公共行政領域。2009年，美國聯邦政府發布《開放政府指令》（The Open Government Directive），作為大數據的前奏推出了Data.gov公共數據開放網站。2012年3月，美國聯邦政府發布了《大數據研究和發展倡議》（Big Data Research and Development Initiative）[5]，正式啟動了「大數據發展計劃」，宣布將投入超過2億美元在大數據研究上[6]；同年5月，聯邦政府發布《數字政府戰略》（ Digital Government Strategy）[7]，致力於為公眾提供更好的「數字化」服務，圍繞數據進行的一系列措施在美國政府全面推進，大數據對美國政府的影響逐步顯現。
（二）大數據的概念
「大數據」作為信息社會發展的一個新生事物，目前尚處在逐漸被認識、被應用的初始階段，無論是學術界還是IT行業對大數據的理解各有側重，尚未形成一套完整的理論體現，因此很難對行進行精準的定義。維基網路將大數據定義為「所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊」[8]。全球知名的咨詢公司如麥肯錫、Gartner以及知名信息化企業如IBM等作為大數據的推崇者，更側重於從技術層面界定大數據。2011－2013年，Gartner發布了多個與大數據有關的白皮書，如「Hype Cycle for Big Data, 2012」，定義了大數據的技術生命周期，報告中指出大數據不只是一項單一的技術，而是一個概念，是一套技術。《互聯網周刊》則認為，「大數據是通過對海量數據進行分析，獲得有巨大價值的產品和服務，或深刻的洞見，最終形成變革之力」。[9]
⒈大數據的技術屬性
大數據在誕生之初僅僅是一個IT行內的技術術語，維基網路將其定義為「無法用現有的軟體工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合」，被概括為「4V」理論：
海量化數據（Volume）——數據體量巨大及規模完整性。隨著數據加工處理技術的提高，網路寬頻的成倍增加，以及社交網路技術的迅速發展，使得數據產生量和存儲量成倍增長，數據規模從TB級別躍升到PB級別。
多樣化結構（Variety）——數據類型繁多。隨著物聯網、社交網路、智能終端等的普及和應用，網路日誌、視頻、圖片、地理位置信息等非結構化數據所佔比例越來越大。
高速化處理（Velocity）——主要表現為數據流的處理速度快。數據規模的無限擴張既對高速化處理提出了新的要求，也為其帶來了新的機遇，大數據的高速化處理要求具有時間敏感性和決策性的分析，要求能在第一時間抓住重要事件發生的信息。這一點也是大數據和傳統的數據挖掘技術不同的本質區別所在。
低密度價值（Value）——體現出的是大數據運用的真實意義所有。數據規模大並不意味著價值高，相反，這些數據間更多的表現為稀缺性、不確定性和多樣性。[10]
盡管對大數據難以明確定義，但大數據所具有的規模性（Volume）、多樣性（Variety）和高速性（Velocity）特徵被廣泛地認同。在3V基礎上，人們對大數據的第四特性有不同的看法，IDC認為大數據具有高價值性（Value），盡管這種價值更多地表現在低價值度的碎片化數據中，如何挖掘這種價值正是大數據的關鍵所在；IBM則認為大數據應該具有真實性（Veracity），真實性將促使人們利用數據融合和先進的數學方法進一步提升數據的質量，從而創造更高價值（參見圖1）。[11]隨著大數據應用的深入，人們對最初的「4V」有了不同的理解和看法。2013年IBM提出了新的「4V」理論。數量（Volume）、多樣性（Variety）、速度（Velocity）和精確性（Veracity）。IBM認為，盡管前3個V涵蓋了大數據本身的關鍵屬性，但真實性是當前亟需考慮的重要維度，將促使他們利用數據融合和先進的數學方法進一步提升數據的質量，從而創造更高價值。[12]2014年，IBM發布了《踐行大數據承諾：大數據項目的實施應用》（Realizing the Promise of Big Data: Implementing Big Data Projects）白皮書，在該報告中對進一步擴展了大數據的特性，首次提出將大數據的特性由4V擴展為「Vs」。[13] 「Vs」在大數據已有特性的基礎上，增加了數據粘度（Viscosity），主要用來衡量數據流間的關聯性（resistance to flow of data）；數據易變性（Variability），主要衡量數據流的變化率；數據有效性（Volatility），主要表明數據有效性的期限和存儲的期限時長。我們認為，未來隨著大數據技術的發展成熟，以及人們對大數據應用的深入，大數據的「Vs」特性將會不斷變化和拓展。

『捌』 揮好大數據這把「雙刃劍」

揮好大數據這把「雙刃劍」
目前，大數據技術的運用仍存在一些困難與挑戰，體現在大數據挖掘的四個環節中。首先在數據收集方面。要對來自網路包括物聯網和機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。其次是數據存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分布化和雲計算技術，在存儲時要按照一定規則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便於日後檢索的標簽。第三是數據處理。有些行業的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多空間之間的交互動態性，難以用傳統的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維後度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模稜兩可的數據中綜合信息，並導出可理解的內容。第四是結果的可視化呈現，使結果更直觀以便於洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘演算法在不同行業中難以通用。

大數據技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業化、信息化、城鎮化、農業現代化任務很重，建設下一代信息基礎設施，發展現代信息技術產業體系，健全信息安全保障體系，推進信息網路技術廣泛運用，是實現四化同步發展的保證。大數據分析對我們深刻領會世情和國情，把握規律，實現科學發展，做出科學決策具有重要意義，我們必須重新認識數據的重要價值。
為了開發大數據這一金礦，我們要做的工作還很多。首先，大數據分析需要有大數據的技術與產品支持。發達國家一些信息技術（IT）企業已提前發力，通過加大開發力度和兼並等多種手段，努力向成為大數據解決方案提供商轉型。國外一些企業打出免費承接大數據分析的招牌，既是為了練兵，也是為了獲取情報。過分依賴國外的大數據分析技術與平台，難以迴避信息泄密風險。有些日常生活信息看似無關緊要，其實從中也可摸到國家經濟和社會脈搏。因此，我們需要有自主可控的大數據技術與產品。美國政府2012年3月發布《大數據研究與發展倡議》，這是繼1993年宣布「信息高速公路」之後又一重大科技部署，聯邦政府和一些部委已安排資金用於大數據開發。我們與發達國家有不少差距，更需要國家政策支持。
中國人口居世界首位，將會成為產生數據量最多的國家，但我們對數據保存不夠重視，對存儲數據的利用率也不高。此外，我國一些部門和機構擁有大量數據卻不願與其他部門共享，導致信息不完整或重復投資。政府應通過體制機制改革打破數據割據與封鎖，應注重公開信息，應重視數據挖掘。美國聯邦政府建立統一數據開放門戶網站，為社會提供信息服務並鼓勵挖掘與利用。例如，提供各地天氣與航班延誤的關系，推動航空公司提升正點率。
大數據的挖掘與利用應當有法可依。去年底全國人大通過的加強網路信息保護的決定是一個好的開始，當前要盡快制定「信息公開法」以適應大數據時代的到來。現在很多機構和企業擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數據挖掘，又要防止侵犯個體隱私；既提倡數據共享，又要防止數據被濫用。此外，還需要界定數據挖掘、利用的許可權和范圍。大數據系統本身的安全性也是值得特別關注的，要注意技術安全性和管理制度安全性並重，防止信息被損壞、篡改、泄露或被竊，保護公民和國家的信息安全。
大數據時代呼喚創新型人才。某咨詢公司預測大數據將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。預測美國到2018年需要深度數據分析人才44萬—49萬，缺口14萬—19萬人；需要既熟悉本單位需求又了解大數據技術與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數據的創新人才更是稀缺資源。
大數據是新一代信息技術的集中反映，是一個應用驅動性很強的服務領域，是具有無窮潛力的新興產業領域；目前，其標准和產業格局尚未形成，這是我國實現跨越式發展的寶貴機會。我們要從戰略上重視大數據的開發利用，將它作為轉變經濟增長方式的有效抓手，但要注意科學規劃，切忌一哄而上。

『玖』 全球大數據發展的新動向與新趨勢

全球大數據發展的新動向與新趨勢
目前，伴隨移動互聯網、智能硬體和物聯網的快速普及，全球數據總量呈現指數級增長態勢，與此同時，機器學習等先進的數據分析技術創新也日趨活躍，使得大數據隱含的價值得以更大程度的顯現，一個更加註重數據價值的新時代正悄然來臨。
瑞士洛桑國際管理學院2017年度《世界數字競爭力排名》顯示，各國數字競爭力與其整體競爭力呈現出高度一致的態勢，即數字競爭力強的國家整體競爭力也很強，同時也更容易產生顛覆性創新。實際上，以美國、英國、韓國和日本等為代表的發達國家一向重視大數據在促進經濟發展和社會變革、提升國家整體競爭力等方面的重要作用，當前更是把大數據視為重要的戰略資源，大力搶抓大數據技術與產業發展先發優勢，積極捍衛本國數據主權，力爭在數字經濟時代佔得先機。我們從各國發展大數據的新舉措中或許可以窺探到大數據發展的新趨勢。
美國：穩步實施「三步走」戰略 打造面向未來的大數據創新生態
美國是率先將大數據從商業概念上升至國家戰略的國家，通過穩步實施「三步走」戰略，在大數據技術研發、商業應用以及保障國家安全等方面已全面構築起全球領先優勢。
第一步快速部署大數據核心技術研究，並在部分領域積極開發大數據應用。2012年白宮科技政策辦公室發布《大數據研究發展倡議》，以提升從海量和復雜數據中獲取知識、挖掘價值的能力，進而推動科學與工程領域創新步伐加速。第二步調整政策框架與法律規章，積極應對大數據發展帶來的隱私保護等問題。2014年美國發布《大數據：把握機遇，守護價值》白皮書，再次重申要把握大數據可為經濟社會發展帶來創新動力的重大機遇，同時也要高度警惕大數據應用所帶來的隱私、公平等問題，以積極、務實的態度深刻剖析可能面臨的治理挑戰。第三步強化數據驅動的體系和能力建設，為提升國家整體競爭力提供長遠保障。2016年美國發布《聯邦大數據研發戰略計劃》，形成涵蓋技術研發、數據可信度、基礎設施、數據開放與共享、隱私安全與倫理、人才培養以及多主體協同等七個維度的系統的頂層設計，打造面向未來的大數據創新生態。
特朗普就任美國總統後，對大數據應用及其產業發展持續關注，並督促相關部門實施大數據重大項目，構建並開放高質量資料庫，強化5G、物聯網和高速寬頻互聯網等大數據基礎設施，促進數字貿易和跨境數據流動等。2017年4月美國能源部與退伍軍人事務部聯合發起「百萬退伍軍人項目（MVP）」，希望藉助機器學習技術分析海量數據，以改善退伍軍人健康狀況。2017年9月醫療保健研究與質量局發布美國首個可公開使用的資料庫，其中包括全美600多個衛生系統。白宮科技政策辦公室一直積極與他國展開合作，以預防數字經濟監管障礙、促進信息流動和反對數字本地化等。
英國：緊抓大數據產業機遇 應對脫歐後的經濟挑戰
大數據發展初期，英國在借鑒美國經驗和做法的基礎上，充分結合本國特點和需求，加大大數據研發投入、強化頂層設計，聚焦部分應用領域進行重點突破。近期英國特別重視大數據對經濟增長的拉動作用，密集發布《數字戰略2017》《工業戰略：建設適應未來的英國》等，希望到2025年數字經濟對本國經濟總量的貢獻值可達2000億英鎊，積極應對脫歐可能帶來的經濟增速放緩的挑戰。
2012年，英國便將大數據作為八大前瞻性技術領域之首，一次性投入1.89億英鎊用於相關科研與創新，在八大領域投入總額中佔比高達38.6%，遠超其餘七個領域。隨後，英國將全方位構建數據能力上升為國家戰略，於2013年發布《把握數據帶來的機遇：英國數據能力戰略規劃》，提出人力資本（研發人才與善於運用數據的民眾）、基礎設施和軟硬體開發能力，以及豐富開放的數據資產是發展大數據的核心，事關能否在未來競爭中占據領先優勢。該戰略同時提出了11項具體行動部署，短短兩三年便釋放出巨大的數字潛力。從2010年至2015年，數字經濟對英國經濟增加值的貢獻增長了21.7%，超過了同期經濟增加值增長率的17.4%，2015年數字經濟規模為1180億英鎊，在經濟增加值中的佔比超過了7%，其中數字商品和服務出口總值超過500億英鎊。
為從數據中挖掘出更大的價值，創造並維護一個能夠保持更多收益和增長的經濟體系，同時讓全社會都能從中收益，英國政府在2017年3月提出了新時期發展數字經濟的頂層設計《數字戰略2017》。新戰略中提出七大目標及相應舉措，特別是對各個目標都提出了更高標準的要求。一是打造世界一流的數字基礎設施，二是使每個人都能獲得所需的數字技能，三是成為最適合數字企業創業和成長的國家，四是推動每一個企業順利實現數字化智能化轉型，五是擁有最安全的網路安全環境，六是塑造平台型政府，為公眾提供最優質的數字公共服務，七是充分釋放各類數據的潛能的同時解決好隱私和倫理等問題。
2017年11月，英國面向全社會發布《工業戰略：建設適應未來的英國》白皮書，強調英國應積極應對人工智慧和大數據、綠色增長、老齡化社會以及未來移動性等四大挑戰，呼籲各方緊密合作，促進新技術研發與應用，以確保英國始終走在未來發展前沿，實現本輪技術變革的經濟和社會效益最大化。為此，2018年4月底英國專門發布《工業戰略：人工智慧》報告，立足引領全球人工智慧和大數據發展，從鼓勵創新、培養和集聚人才、升級基礎設施、優化營商環境以及促進區域均衡發展等五大維度提出一系列實實在在的舉措。
韓國：以大數據等技術為核心應對第四次工業革命
多年來，韓國的智能終端普及率以及移動互聯網接入速度一直位居世界前列，這使得其數據產出量也達到了世界先進水平。為充分利用這一天然優勢，韓國很早就制定了大數據發展戰略，並力促大數據擔當經濟增長的引擎。2016年年底，韓國發布以大數據等技術為基礎的《智能信息社會中長期綜合對策》，以積極應對第四次工業革命的挑戰。
2013年12月，韓國多部門便聯合發布「大數據產業發展戰略」，將發展重點集中在大數據基礎設施建設和大數據市場創造上。2015年年初，韓國給出全球進入大數據2.0時代的重大判斷，大數據技術日趨精細、專業服務日益多樣，數據收益化和創新商業模式是未來大數據的主要發展趨勢。基於此，在同年發布的《K-ICT》戰略中，韓國將大數據產業定義為九大戰略性產業之一，目標是到2019年使韓國躋身世界大數據三大強國。韓國還非常注重對他國經驗的借鑒，2015年5月中國發布《大數據發展調查報告》後，韓國專門對中國與韓國大數據應用情況進行了比較分析，並聚焦韓國大數據應用水平與大數據市場不協調的問題，提出了一系列新舉措。
近兩年全球第四次工業革命浪潮的到來，倒逼韓國重新審視本國智能製造和信息技術的發展，並於2016年年底提出《智能信息社會中長期綜合對策》，將大數據及其相關技術界定為智能信息社會的核心要素，並提出具體的發展目標與舉措。
一是充分挖掘數據資源價值，強化未來競爭力源頭。構築開放共享的大規模數據基礎設施，到2025年實現320個公共機構的數據開放；促進數據流通和使用，激活數據交易市場，推動公共和民間數據實現以價值為導向的交易；激活數據分析企業，到2020年數據專業服務企業規模達到100家；培養大數據專業人才，將每年培養的數據科學家數量從2017年的500名增長到2030年的1000名；發展區塊鏈技術，提高數據管理可靠性等。二是築牢大數據技術基礎。加強數學方法論研究，長期穩定支持新型學習推斷、量子計算、神經形態晶元等下一代計算技術研究，推動科研大數據開放共享，推進產業數據中心建設，強化產學研合作共同研發產業共性技術等。三是面向數據服務需求，構築超連接網路環境。確保頻率資源供應，有序推進5G商用化進程，實現大規模機器間通信，實現不同業務網路之間的實時超連接；推動通信運營商體系優化，摒除後發企業進入運營行業的壁壘；進一步強化物聯網和雲計算基礎設施並充分利用智能感測器數據；分階段引進量子通信與安全網路等。
大數據發展新趨勢
綜合以上幾個典型國家的新動向和新舉措，可以發現當前及未來全球大數據發展的新趨勢。
一是大數據與人工智慧、雲計算、物聯網、區塊鏈等技術日益融合，成為各國搶抓未來發展機遇的戰略性技術。英國在工業戰略中強調大數據與人工智慧的發展，很有可能推動現有的商品和服務市場被顛覆和取代。日本將大數據、物聯網和人工智慧界定為建設超智能社會服務平台必不可少的共性技術。韓國與日本相似，將智能信息化社會定義為「ICBM（物聯網、雲服務、大數據和手機）與AI（人工智慧）相融合的社會」。
二是大數據資源對各國經濟政治博弈的重要性更加凸顯。美國最新版國家安全戰略中，特朗普再次將「數據」比喻為一種能源，他認為掌握了數據及相關能力，就是為美國經濟的持續增長、有效抵制敵對意識形態以及部署建設最強大軍事力量等構建了最基礎的保障。最近的「臉書危機」事件，再加上近年來「劍橋分析」及其母公司「戰略通訊實驗室」參與多國領導人選舉活動事件，使得大數據資源及相關技術成為某些國家利益集團及企業影響政治生態和社會安全的重要手段，各國政治社會發展面臨的風險變得更加復雜和不可預測。
三是大數據應用基礎條件發生跨越式變化。一方面政府數據開放的廣度和深度將進一步拓寬，多源數據融合技術的進步，為公共服務數字化與智能化水平的提升提供了技術層面的保障，數據的標准化及開放則成為各國建設服務型政府和平台型政府的資源保障。另一方面大數據應用的基礎設施將成為與水電氣暖等相類似的設施，成為人們生活中必不可少的部分。這其中包括物聯網、智能硬體等數據採集類設施，5G、光通信等超高速數據傳輸類設施，以及超級計算機、雲計算以及邊緣計算等計算類設施，以及新型的存儲設施等等。
四是大數據安全為各國實現「平衡」發展帶來更嚴峻的挑戰。各國大數據發展戰略中，不同國家和地區對「數據開放共享」與「個人信息保護」的側重點不同，比如歐盟希望通過強制性的統一標准最大限度的保護個人隱私，而美國則更相對弱化法律約束、希望充分調動企業的主動性，這種態勢對未來全球大數據國際規則的融合發展提出了新難題。同時對大數據企業權利和義務也要進行再平衡，監管太嚴將限制企業創新的腳步，但如果放手太多，在實踐中難免出現企業對個人隱私大規模侵害的問題。

『拾』 大數據技術及應用

大數據技術及應用
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據。2011年5 月，在「雲計算相遇大數據」 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里？金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」
二、什麼是大數據
大數據（Big Data）是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息，定製出高度個性化的用戶體驗，並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
（一）大數據的4V特徵
大量化（Volume）：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模範圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外，各種意想不到的來源都能產生數據。
多樣化（Variety）：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由於新型多結構數據，以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中，部分感測器安裝在火車、汽車和飛機上，每個感測器都增加了數據的多樣性。
快速化（Velocity）：高速描述的是數據被創建和移動的速度。在高速網路時代，通過基於實現軟體性能優化的高速電腦處理器和伺服器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析並返回給用戶，以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。
價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智慧Vs傳統商務智能（咨詢、報告等）
三、大數據時代對生活、工作的影響
大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。
「大數據」的影響，增加了對信息管理專家的需求。事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示：被調查者最關注的大數據技術中，排在前五位的分別是大數據分析（12.91%）、雲資料庫（11.82%）、Hadoop（11.73%）、內存資料庫（11.64%）以及數據安全（9.21%）。Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢，那麼大數據分析中的哪項功能是最重要的呢？從下圖可以看出，排在前三位的功能分別是實時分析（21.32%）、豐富的挖掘模型（17.97%）和可視化界面（15.91%）。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型（27.22%）比實時分析（19.88%）多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出：企業在未來一兩年中有迫切部署大數據的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場「數據戰」。
五、大數據的應用
（一）行業拓展者，打造大數據行業基石
IBM：IBM大數據提供的服務包括數據分析，文本分析，藍色雲杉（混搭供電合作的網路平台）；業務事件處理；IBM Mashup Center的計量，監測，和商業化服務（MMMS）。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights，基於Apache Hadoop。
該產品組合包括：打包的Apache Hadoop的軟體和服務，代號是bigInsights核心，用於開始大數據分析。軟體被稱為bigsheet，軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融，風險管理，媒體和娛樂等行業量身定做的行業解決方案。
微軟：2011年1月與惠普（具體而言是HP資料庫綜合應用部門） 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC：EMC 斬獲了紐交所和Nasdaq；大數據解決方案已包括40多個產品。
Oracle：Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
（二）大數據促進了政府職能變革
重視應用大數據技術，盤活各地雲計算中心資產：把原來大規模投資產業園、物聯網產業園從政績工程，改造成智慧工程；在安防領域，應用大數據技術，提高應急處置能力和安全防範能力；在民生領域，應用大數據技術，提升服務能力和運作效率，以及個性化的服務，比如醫療、衛生、教育等部門；解決在金融，電信領域等中數據分析的問題：一直得到得極大的重視，但受困於存儲能力和計算能力的限制，只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革，另一方面政府投入將形成示範效應，大大推動大數據的發展。
（三）打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》，提出「通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，強化美國國土安全，轉變教育和學習模式」 ；中國工程院院士鄔賀銓說道，「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效，隨著智慧城市的建設，社會將步入「大數據」時代。」
（四）未來，改變一切
未來，企業會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。
數據的再利用：由於在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們並不急需使用也不擅長再次利用這些數據。例如，行動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯網所記錄和保留了下來，並且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的？
眼下中國互聯網熱門的話題之一就是互聯網實名制問題，我願意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯網才能對我們的隱私給予更好保護