大數據2014

『壹』 中國實施大數據戰略有五大行動支點

中國實施大數據戰略有五大行動支點
大數據引擎業已成為組織創新、產業升級、經濟社會發展、國家治理能力現代化的核心驅動力。在借鑒歐美發達國家大數據戰略實施的先進經驗基礎上，中國中國實施大數據戰略有五大行動支點。
變革時代的大數據革命
自「智慧地球」概念於2008年11月提出以來，整個地球都沉浸在如何變得更加智慧這個龐大的課題里。聯合國秘書長執行辦公室於2009年正式啟動了「全球脈動」倡議項目，旨在推動數字數據與快速數據收集和分析方式創新。聯合國2012年5月對外發布了《大數據促發展：挑戰與機遇》白皮書，探討如何利用互聯網數據推動全球發展。隨著大數據發展戰略得到全球各國的高度重視，世界主要國家的「智慧國家」建設發展戰略和行動計劃風起雲涌。由於大數據是數字化生存時代的新型戰略資源，對國家治理和社會發展作用巨大，各國科技界、產業界和政府部門極為關注，於是「智慧企業」「智慧校園」「智慧醫院」「智慧政府」「智慧城市」被不同類型組織列為發展目標。
科學技術是第一生產力，產業的每一次革命性躍遷都離不開科技革命的推動，往往只有那些抓住技術革命的戰略機遇並迅速作出適應性調整的國家或民族才能不斷生存發展。毫無疑問，大數據是當前一個事關經濟社會發展全局的戰略性產業，已經成為全球高科技產業競爭的前沿領域，以美、日、歐為代表的全球發達國家已經展開以大數據為核心的新一輪信息戰略以及新一輪的人才競爭、技術競爭、產業競爭、企業競爭和國家競爭。報告顯示，2014年，全球大數據市場增長速度達53%，總體規模為285億美元。到2017年，全球大數據市場收入將達500億美元，這意味著從2011年起連續6年年復合增長率達38%。中國市場情報中心有關統計顯示，2012年中國大數據市場規模為4.5億元，同比增長40.6%，到2018年，中國大數據市場規模將達到463.4億元。2012—2013年度，在歐美國家1217家營業額收入超過10億美元的企業中，643家企業制定了大數據戰略，其中7%的企業至少投入了5億美元，15%的企業至少投入了1億美元發展大數據。
顯然，隨著經濟社會的發展，大數據帶來的深刻影響和巨大價值逐漸被認識，它通過技術的創新與發展，以及數據的全面感知、收集、分析、共享，為我們提供了一種全新的看待世界的方法，大數據帶來的信息風暴正在全方位地改變著我們的生活、工作和思維。
大數據戰略實施的國際經驗
歐美發達國家相繼制定了大數據發展戰略，並制訂了具體的實施政策和行動計劃，已經取得初步成效。總體而言，這些戰略具有以下幾個方面典型特徵：
開放性。自2009年美國政府開放數據門戶網站data.gov上線以來，各國政府掀起開放數據運動。通過開放政府數據，提高政府透明度，提升政府治理能力和效率，更好地滿足公眾需求，促進社會創新，帶動經濟增長。據統計，截至2014年1月12日，開放數據運動已覆蓋全球44個國家(地區)。2013年6月，八國集團首腦在北愛爾蘭峰會上簽署《開放數據憲章》，各國表示願意進一步向公眾開放可機讀的政府數據，並在2013年末制定相應的行動計劃。英國承諾2015年前開放有關交通運輸、天氣和健康方面的核心公共資料庫，並將投資1000萬英鎊建立世界上首個「開放數據研究所」。2013年11月，法國政府出台《八國集團開放數據憲章行動計劃》，作出「朝著默認公開發布數據的目標前進」「建立一個開放平台以鼓勵創新和提高透明度」等幾項承諾。
智能性。2010年11月，德國聯邦政府啟動「數字德國2015」戰略，推動互聯網服務、雲計算、物聯網、3D技術以及電動汽車信息通信技術等信息通訊產業的發展，推動實施基於傳統製造業智能化和數據化的「工業製造4.0戰略」，將物聯網引入製造業，打造智能工廠，工廠通過CPS(網路物理系統)實現在全球互聯。2011年，韓國就提出「智慧首爾2015」計劃，目標是到2015年成為世界上最方便使用智能技術的城市，建立與市民溝通的智能行政服務，建成適應未來生活的基礎設施和成為有創造力的智慧經濟都市。2013年6月，日本安倍內閣公布《面向2020年的ICT綜合戰略》，全面闡述2013-2020年期間以發展開放公共數據和大數據為核心的日本新IT國家戰略，提出要把日本建設成為一個具有「世界最高水準的廣泛運用信息產業技術的社會」的目標。
價值性。2012年4月，英國經濟與商業研究中心的一份研究報告預計了2012-2017年大數據產生的經濟利益：2011年英國私企和公共部門企業的數據資產價值為251億英鎊，2017年將達到407億英鎊。大數據增加的創新與就業機會，將貢獻價值240億英鎊，同時為小企業創造預計價值為420億英鎊的發展前景。該報告還預測大數據將創造新業務市場，即創造58000個就業機會。大數據可以更有效地改進客戶需求分析，預計此項優化將產生738億英鎊的效益。大數據可以優化產品存量和資源分配，大大降低成本，預計產生460億英鎊的效益。同時，政府部門通過大數據可對醫療保健系統進行防欺詐檢測和分析，預計節省不必要的支出達20億英鎊。顯然，如果有意識地在更大的合理范圍內開放大數據，大數據將帶來更多的價值增殖。
應用性。2012年9月，IBM公司啟動在加拿大安大略省巴里市興建智能數據中心，即IBM加拿大領導數據中心，旨在推進節能化數據中心管理方面的研究和為企業提供能使其連續性經營的服務以及災備數據服務。為響應公民對數據的需求，加拿大逐步開放地理空間數據，並將大數據研究列為政府科研基金重點資助對象。2013年8月，英國政府發布的《英國農業技術戰略》指出，英國今後對農業技術的投資將集中在大數據上，目標是將英國的農業科技商業化。
保障性。2012年5月，美國政府宣布投資2億美元提高大數據技術(包括數據的儲存、分析、收集)，以加快科學研究、加強國家安全、改革教學和培訓體系以及促進專業人才發展。2013年1月，英國商業、創新和技能部宣布注資6億英鎊發展8類高新技術，其中，1.89億英鎊用來發展大數據技術。「歐盟開放數據戰略」將重點加強在數據處理技術、數據門戶網站和科研數據基礎設施三方面的投入，旨在歐洲企業與市民能自由獲取歐盟公共管理部門的所有信息，建立一個匯集不同成員國以及歐洲機構數據的「泛歐門戶」。
中國實施大數據戰略的行動支點
為了應對大數據戰略帶來的機遇和挑戰，借鑒歐美發達國家大數據戰略實施的先進經驗，我國需要在如下幾個方面下功夫：
完善制度。完善知識產權保護體系，促進數據共享和整合，推動數據價值創造。加快制定相關標准和指南，制定大數據發展戰略。出台法律，為涉及企業運營數據、客戶信息、個人隱私和各種行為的詳細記錄數據提供法律保障。完善信息資源市場，界定信息產權，明確信息的所有權、使用權和收益權的規定，發揮市場在信息資源方面的優化配置作用。
構築平台。成立大數據管理局，建立信息資源共享平台，開放政府信息資源。以部門業務信息為基礎，從標准、流程、數據三個方面進行設計，建設「物理分散、邏輯集中」的公共數據中心，通過數據集中挖掘，提高數據利用率，提高各級政府行政管理效率和公共服務水平。
突破技術。在明確大數據關鍵技術的基礎上，確定重點支持領域，加大研發支持力度，整合雲計算、物聯網等專項項目，支持大數據技術的開發、研究和應用示範，引導企業加大大數據研發力度，實現關鍵技術突破，特別需要優先支持大數據技術在輿情研判、疾病防治、災害控制、交通安全、城市管理、公共服務、社會治理等民生領域的應用。在公共服務和公用事業管理中采購大數據技術，以政府采購引導國內大數據發展。
培養人才。加大高水平大數據人才的引進和培養力度，重點培育數據挖掘、機器學習等方面的專業人才。制定激勵措施對企業管理者進行數據分析技術培訓，提高大型企業管理人員的數據分析能力。同時，在大學相應階段有針對性地增加相關大數據技術與分析課程，增加學生在感知技術、數據倉庫、數據搜索、數據挖掘與可視化等領域的知識積累，擴大人才儲備規模。
提供保障。設立大數據研發基金，加大大數據平台建設的投入力度，加強智慧企業、智慧醫院、智慧政府、智慧城市建設。設立獎懲制度，強化大數據國家安全建設。建立預算制度，控制各部門經費流向，推動數據共享，防止「信息孤島」現象的出現。

『貳』 中國目前在大數據行業的發展情況如何

我國大數據產業開始已進入深化階段

中國大數據產業從萌芽到如今漸成體系，已走過將近10個年頭。「十四五」開局之年，大數據產業也進入了集成創新、深度應用的新階段。大數據在醫療、工業、交通等領域的融合應用技術加快創新突破，大數據融合應用重點從虛擬經濟轉變為實體經濟;大數據底層技術方面，信息安全、模式識別、語言工程、計算機輔助設計、高性能計算等加快突破，大數據技術領域逐漸補齊短板，並進一步強化長板。

—— 更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》

『叄』 Gartner發布2014技術成熟度曲線，大數據去哪兒

摘要：近日，Gartner發布了最新的新興技術成熟度曲線（Hype Cycle for Emerging Technologies）。去年，大數據享有至高無上的地位，處於Gartner所說的「期望膨脹高峰期」。但現在，大數據已經跌入「幻滅的低谷期」。物聯網取而代之，占據了成熟度曲線的最高點。

在2012年和2013年，Gartner的分析師們曾認為，物聯網還需要10年以上的時間才會達到「生產率穩定期」。但今年，他們認為物聯網只需要5到10年時間就會達到這個最終成熟階段。
小編的理解是，無論是大數據還是物聯網，數據和數據之上的信息都是不變的「主旋律」。物聯網將數據流動的介質進一步「下沉」至具備聯網功能和數據傳輸能力的「物件」上，讓更多的機器、設備成為人們生產與生活交互的一部分。

今年成熟度曲線上的一個新面孔是「數據科學」，預計它將在2到5年時間里達到穩定期。與其說它是一項或一套具體的技術，不如說是一個處理大數據的學科。Gartner在《成熟度曲線特別報告》(Hype Cycle Special Report)中指出：「雖然對大數據的興趣依然不減，但它已經離開高峰期，因為該市場已經安定下來，有了一整套合理的方法，新的技術和實踐被添加進現有方案。」雖然大數據興趣不減，市場趨向穩定，但Gartner認為，大數據還有5到10年才會達到穩定期。看來，大數據相關技術的演進在未來一段時間內仍將展現出強大的生命力，相關市場的營收也將不斷放大。

對於Gartner對新興技術起伏的判斷，皮尤研究中心(Pew Research Center)的互聯網、科學和技術研究主管李·雷尼(Lee Rainie)作出了如下評價：「雖然成熟度曲線不是嚴格地以數據為基礎，但高德納分析師們對技術採納狀況作出的判斷常常與其他優秀觀察者的看法相一致。在特定創新應該處於曲線什麼位置的問題上，有時會有爭議，但該曲線所勾勒的總體趨勢很少受到質疑。」

2014年標志著新興技術成熟度曲線這個有用的工具已經問世20周年。該工具旨在跟蹤人們對技術和商業創新的周期性興趣爆發和經常性失望的起起伏伏。Gartner副總裁兼著名分析師貝特西·伯頓(Betsy Burton)談到了成熟度曲線作為跟蹤創新及其商業影響力如何逐漸演變的工具，以及2014年版的新變化。伯頓說：「很多時候，我們看到的是人們的注意力從支持信息、應用、雲端系統和大數據的基礎設施，轉向我們如何運用雲計算、大數據和社交的某些能力來解決現實的商業問題。我們正目睹人們的注意力從技術本身轉向將這項技術實際運用到現實的商業需求和商業成果中。」

『肆』 大數據未來的發展前景怎麼樣

大數據技術目前正處在落地應用的初期，從大數據自身發展和行業發展的趨勢來看，大數據未來的前景還是不錯的，具體原因有以下幾點：
第一：大數據自身能夠創造出更多的價值。大數據相關技術緊緊圍繞數據價值化展開，數據價值化將開辟出廣大的市場空間，重點在於數據本身將為整個信息化社會賦能。隨著大數據的落地應用，大數據的價值將逐漸得到體現。目前在互聯網領域，大數據技術已經得到了較為廣泛的應用。

第二：大數據推動科技領域的發展。大數據的發展正在推動科技領域的發展進程，大數據的影響不僅僅體現在互聯網領域，也體現在金融、教育、醫療等諸多領域。在人工智慧研發領域，大數據也起到了重要的作用，尤其在機器學習、計算機視覺和自然語言處理等方面，大數據正在成為智能化社會的基礎。
第三：大數據產業鏈逐漸形成。經過近些年的發展，大數據已經初步形成了一個較為完整的產業鏈，包括數據採集、整理、傳輸、存儲、分析、呈現和應用，眾多企業開始參與到大數據產業鏈中，並形成了一定的產業規模，相信隨著大數據的不斷發展，相關產業規模會進一步擴大。
第四：產業互聯網將推動大數據落地。當前互聯網正在經歷從消費互聯網向產業互聯網過渡，產業互聯網將利用大數據、物聯網、人工智慧等技術來賦能廣大的傳統產業，可以說產業互聯網的發展空間非常大，而大數據則是產業互聯網發展的一個重點，大數據能否落地到傳統行業，關乎產業互聯網的發展進程，所以在產業互聯網階段，大數據將逐漸落地，也必然落地。

『伍』 閑話國內大數據發展簡史&產業化落地

文·blogchong

之所以想要說一說這個話題，是因為下午在技術群中不經意間，就類似話題進行了比較劇烈的腦暴討論。

討論范圍包括了互聯網公開數據的挖掘、價值變現、數據獲取的合法性以及數據產業落地等相關方向。

當時就一直在思考這個問題，後續完了自己又想了幾遍，發現確實有所得，也挺多東西想表達一下的。

大數據是在2009年開始相對比較正式引入國內的，基本上與Hadoop的「入侵」國內同步。

但在那時其實並沒有實際落地的東西，除了一些大公司在試探性使用，直到2012-2013年，國外已經完成一輪「探險」，國內才陸續開始思考大數據如何落地的事了。

確實是這樣的，國內在新技術領域上，一向落後於國外半拍，而我也恰恰也是在那個時候「入坑」的。

那個時候其實很多公司企業(除了當時BAT內部使用的案例)，也是在嘗試性的涉足大數據領域，一邊追逐技術的完善，一邊在探索大數據與實際業務的結合點。

直到2014年，算是大數據在國內的一個爆發點，正式的轉折點。

首先，以Hadoop為代表的生態趨於成熟，甚至結合內存處理領域、數據實時處理領域，已經形成了一套完整的大數據平台技術解決方案。

其次，已經越來越公司結束了探索性實驗，用實際的成果嘗到了大數據這種處理模式的好處，已經形成了越來越多的實際可參考的良性案例。

當然，最重要的是確實存在實際的規模數據處理的需求。其實這個需求一直存在，只是很多時候沒有找到合適的契機爆發出來。

也就是從2014開始，大數據的人才市場需求在急劇擴增，很多其他IT領域開發人員紛紛轉型到數據行業，其中以逐漸沒落的傳統IT行業為代表。

有人才市場需求，進一步促進了大數據培訓市場的發展，各種大數據培訓機構如雨後春筍般的出現。

其實這也是沒辦法的事，因為當時還沒有哪個高校開設有大數據相關的課程呢。

當然，這波浪潮同樣卷到了學術界，部分高校也意識到了這個技術大勢，陸續有不少高校開始開設大數據相關的專業課程。

2015年，隨著互聯網的發展，市場各種互聯網應用需求的飽和，導致了流量紅利的消失，讓很多企業公司不得不考慮通過數據來提升效率以及推進用戶體驗，例如推薦系統、個性化服務等。

資本市場從2014-2015年逐漸介入，進一步促進各大互聯網企業公司向數據化轉型，使得大數據這個領域進一步達到高潮。

我們知道，資本市場算是迎來半個寒冬，流量紅利的消失，o2o在15年底都死的差不多了，16年讓資本市場變得更謹慎。

但是，就算是這樣，國內很多以大數據為技術驅動的公司依然拿了不少融資，包括神策、諸葛IO、GrowingIO等第三方數據分析公司，明略數據等這種針對於服務偏傳統行業的數據公司，甚至如DataEye類似垂直領域的數據分析公司都活的好好的。

同時，在國家政策方面，2016年可謂是大數據的國家政策元年，各種國家政策開始偏向大數據。

這意味著，大數據已經從半個風口的狀態，過渡到理性、穩健的狀態，這是一個良性的狀態。

正如上面所說，目前大數據已經逐漸從「潮流」這種略帶風險性的標志狀態，過渡到穩健、良性發展的狀態。

提前「入坑」的童鞋，相信已經享受到「潮流」帶來的部分福利，包括比其他普通IT同行們略高的薪酬待遇，以及更多、更自由的選擇性等。

好吧，其中也包括我了~~ 哈哈

那麼，後續會是一種什麼樣的情況呢？

首先，數據化依然會是一個不可逆的趨勢，在資本以及政策的驅動下，更多的公司會逐漸的進行數據化，甚至包括很多傳統IT產業，一樣擋不住這個大勢。

那麼在人才市場需求上的情況呢？個人感覺需求還是在的，因為市場遠沒有達到飽和，但是福利待遇會有所下降。

這是為什麼呢？

2016-2017年，各大高校逐漸會開始投放專業的「正規軍」，是的，那些大數據專業的學生們將被正式投放到市場中了。

此外，從2014年到2016年，大數據的培訓市場一直在增加的，不管是線上的還是線下的。

這意味著，每年，哦不，應該是每幾個月都會有大量的大數據速成工投放到人才需求市場中。

最重要的一點，經過四五年的大浪淘沙，市場已經有一大批「自學成才」的「老司機」可以撐起場面了。

在人才需求以及人才的待遇上，而不是一才難求的現象了，也會逐漸的趨於良性，趨於理性(之前寫過一篇大數據招聘亂象的文章，喜歡可以看看 《你們是不是真的很缺大數據工程師？》 )。

所以，如果你從大學剛畢業出來，發現大數據沒有傳說中那麼「香饃饃」，也不要奇怪；而從大數據培訓流水線上下來的童鞋們，也需要做好准備，薪水可能無法跟你想像中那樣了，翻個幾倍之類的。

不過「老司機們」到不用太過於擔心，雖然大數據的人才市場趨於日漸飽和，但是「駕齡」足夠，「車」開的足夠溜的，依然只有那麼一小戳人。

你依然是稀缺資源，所以不要怕怕。

你看我就不怕怕，哈哈~~

雖然，這一切看似良好，但是有些東西依然值得我們更進一步的深思。

正如之前在技術群中進行腦暴討論的那樣，這幾年大數據雖然市場需求不少，但是依然難以達到產業化的狀態。

這里貼一個產業化的概念：產業化是指某種產業在市場經濟條件下，以行業需求為導向，以實現效益為目標，依靠專業服務和質量管理，形成的系列化和品牌化的經營方式和組織形式。

目前大數據的實際落地形式大部分都以輔助、加速其他業務為主，起一個催化劑，提升效率，加快速度的作用，鮮有看到以大數據作為獨立產業而存在的。

當然也有，比如上面提到的第三方數據分析商、垂直領域的DataEye，以及為企業提供大數據解決方案的明略數據等，也算是以大數據為根深立命而存在的。

但是總體來說，真的不多，而且絕大部分都是以2B的形式存在。我們知道，從格局上來看，2B的產品永遠是難以做到2C產品那種真正宏偉規模，改變產業格局的。

所以，從這點來說，雖然你市場需求放在這里，但想真正以大數據為切入點、為立足的根本做點事，其實也沒有想像中那麼容易。

糾結~~

不過作為大數據領域的半個「老司機」，依然是希望大數據這個技術領域、這個行業，有一天能夠形成獨立的、推動人類進程的一些東西。

亦如互聯網、亦如社交網路、亦如電子商務、亦如移動互聯網等！

最近一直有很多新手同行們向我請教大數據方向上的一些事，自己也一直在思考互聯網開放數據落地變現、以及大數據產業格局相關的問題。

所以，想的多了，對一些東西還是有一些看法的，藏在心中不吐不快。

也希望，上面閑話里的一些東西能夠引起你的一些共鳴，當然反駁也歡迎，歡迎一切與人格無關，與技術有關、與業態有關的探討。

下次希望有時間，能和大家一起探討一些關於互聯網開放數據落地變現相關的話題，這也是我目前一直想探索的東西，下次如果有所收獲再寫點 東西吧。

(正文完)

『陸』 中國大數據六大技術變遷記

中國大數據六大技術變遷記_數據分析師考試

集「Hadoop中國雲計算大會」與「CSDN大數據技術大會」精華之大成， 歷屆的中國大數據技術大會（BDTC） 已發展成為國內事實上的行業頂尖技術盛會。從2008年的60人Hadoop沙龍到當下的數千人技術盛宴，作為業內極具實戰價值的專業交流平台，每一屆的中國大數據技術大會都忠實地描繪了大數據領域內的技術熱點，沉澱了行業實戰經驗，見證了整個大數據生態圈技術的發展與演變。
2014年12月12-14日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會協辦，中科院計算所與CSDN共同承辦的 2014中國大數據技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。大會為期三天，以推進行業應用中的大數據技術發展為主旨，擬設立「大數據基礎設施」、「大數據生態系統」、「大數據技術」、「大數據應用」、「大數據互聯網金融技術」、「智能信息處理」等多場主題論壇與行業峰會。由中國計算機學會主辦，CCF大數據專家委員會承辦，南京大學與復旦大學協辦的「2014年第二屆CCF大數據學術會議」也將同時召開，並與技術大會共享主題報告。
本次大會將邀請近100位國外大數據技術領域頂尖專家與一線實踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟體的最新進展，NoSQL/NewSQL、內存計算、流計算和圖計算技術的發展趨勢，OpenStack生態系統對於大數據計算需求的思考，以及大數據下的可視化、機器學習/深度學習、商業智能、數據分析等的最新業界應用，分享實際生產系統中的技術特色和實踐經驗。

大會召開前期，特別梳理了歷屆大會亮點以記錄中國大數據技術領域發展歷程，並立足當下生態圈現狀對即將召開的BDTC 2014進行展望：
追本溯源，悉大數據六大技術變遷
伴隨著大數據技術大會的發展，我們親歷了中國大數據技術與應用時代的到來，也見證了整個大數據生態圈技術的發展與衍變：
1. 計算資源的分布化——從網格計算到雲計算。 回顧歷屆BDTC大會，我們不難發現，自2009年，資源的組織和調度方式已逐漸從跨域分布的網格計算向本地分布的雲計算轉變。而時至今日，雲計算已成為大數據資源保障的不二平台。
2. 數據存儲變更——HDFS、NoSQL應運而生。 隨著數據格式越來越多樣化，傳統關系型存儲已然無法滿足新時代的應用程序需求，HDFS、NoSQL等新技術應運而生，並成為當下許多大型應用架構不可或缺的一環，也帶動了定製計算機/伺服器的發展，同時也成為大數據生態圈中最熱門的技術之一。
3. 計算模式改變——Hadoop計算框成主流。 為了更好和更廉價地支撐其搜索服務，Google創建了Map/Rece和GFS。而在Google論文的啟發下，原雅虎工程師Doug Cutting開創了與高性能計算模式迥異的，計算向數據靠攏的Hadoop軟體生態系統。Hadoop天生高貴，時至今日已成為Apache基金會最「Hot」的開源項目，更被公認為大數據處理的事實標准。Hadoop以低廉的成本在分布式環境下提供了海量數據的處理能力。因此，Hadoop技術研討與實踐分享也一直是歷屆中國大數據技術大會最亮眼的特色之一。
4. 流計算技術引入——滿足應用的低延遲數據處理需求。 隨著業務需求擴展，大數據逐漸走出離線批處理的范疇，Storm、Kafka等將實時性、擴展性、容錯性和靈活性發揮得淋漓盡致的流處理框架，使得舊有消息中間件技術得以重生。成為歷屆BDTC上一道亮麗的風景線。
5. 內存計算初露端倪——新貴Spark敢與老將叫板。 Spark發源於美國加州大學伯克利分校AMPLab的集群計算平台，它立足於內存計算，從多迭代批量處理出發，兼容並蓄數據倉庫、流處理和圖計算等多種計算範式，是罕見的全能選手。在短短4年，Spark已發展為Apache軟體基金會的頂級項目，擁有30個Committers，其用戶更包括IBM、Amazon、Yahoo!、Sohu、網路、阿里、騰訊等多家知名公司，還包括了Spark SQL、Spark Streaming、MLlib、GraphX等多個相關項目。毫無疑問，Spark已站穩腳跟。
6. 關系資料庫技術進化—NewSQL改寫資料庫歷史。 關系資料庫系統的研發並沒有停下腳步，在橫向擴展、高可用和高性能方面也在不斷進步。實際應用對面向聯機分析處理（OLAP）的MPP（Massively Parallel Processing）資料庫的需求最迫切，包括MPP資料庫學習和採用大數據領域的新技術，如多副本技術、列存儲技術等。而面向聯機事務處理（OLTP）的資料庫則向著高性能演進，其目標是高吞吐率、低延遲，技術發展趨勢包括全內存化、無鎖化等。
立足揚帆，看2014大數據生態圈發展
時光荏苒，轉眼間第2014中國大數據技術大會將如期舉行。在技術日新月異的當下，2014年的BDTC上又可以洞察些什麼？這里我們不妨著眼當下技術發展趨勢：
1. MapRece已成頹勢，YARN/Tez是否可以再創輝煌？ 對於Hadoop來說，2014是歡欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等眾多巨頭都加大了Hadoop方面的投入。然而對於眾多機構來說，這一年卻並不輕松：基於MapRece的實時性短板以及機構對更通用大數據處理平台的需求，Hadoop 2.0轉型已勢在必行。那麼，在轉型中，機構究竟會遭遇什麼樣的挑戰？各個機構如何才能更好地利用YARN所帶來的新特性？Hadoop未來的發展又會有什麼重大變化？為此，BDTC 2014特邀請了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成員Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等國際頂尖Hadoop專家，我們不妨當面探討。
2. 時過境遷，Storm、Kafka等流計算框架前途未卜。 如果說MapRece的緩慢給眾多流計算框架帶來了可乘之機，那麼當Hadoop生態圈組件越發成熟，Spark更加易用，迎接這些流計算框架的又是什麼？這里我們不妨根據BDTC 2014近百場的實踐分享進行一個側面的了解，亦或是與專家們當面交流。
3. Spark，是顛覆還是補充？ 與Hadoop生態圈的兼容，讓Spark的發展日新月異。然而根據近日Sort Benchmark公布的排序結果，在海量（100TB）離線數據排序上，對比上屆冠軍Hadoop，Spark以不到十分之一的機器，只使用三分之一的時間就完成了同樣數據量的排序。毫無疑問，當下Spark已不止步於實時計算，目標直指通用大數據處理平台，而終止Shark，開啟Spark SQL或許已經初見端倪。那麼，當Spark愈加成熟，更加原生的支持離線計算後，開源大數據標准處理平台這個榮譽又將花落誰家？這里我們一起期待。
4. 基礎設施層，用什麼來提升我們的網路？ 時至今日，網路已成為眾多大數據處理平台的攻堅對象。比如，為了克服網路瓶頸，Spark使用新的基於Netty的網路模塊取代了原有的NIO網路模塊，從而提高了對網路帶寬的利用。那麼，在基礎設施層我們又該如何克服網路這個瓶頸？直接使用更高效的網路設備，比如Infiniband能夠帶來多少性能提升？建立一個更智能網路，通過計算的每個階段，自適應來調整拆分/合並階段中的數據傳輸要求，不僅提高了速度，也提高了利用率。在BDTC 2014上，我們可以從Infiniband/RDMA技術及應用演講，以及數場SDN實戰上吸取寶貴的經驗。
5. 數據挖掘的靈魂——機器學習。 近年來，機器學習領域的人才搶奪已進入白熱化，類似Google、IBM、微軟、網路、阿里、騰訊對機器學習領域的投入也是愈來愈高，囊括了晶元設計、系統結構（異構計算）、軟體系統、模型演算法和深度應用各個方面。大數據標志一個新時代的到來，PB數據讓人們坐擁金山，然而缺少了智能演算法，機器學習這個靈魂，價值的提取無疑變得鏡花水月。而在本屆會議上，我們同樣為大家准備了數場機器學習相關分享，靜候諸位參與。
而在技術分享之外，2014年第二屆CCF大數據學術會議也將同時召開，並與技術大會共享主題報告。屆時，我們同樣可以斬獲許多來自學術領域的最新科研成果。

以上是小編為大家分享的關於中國大數據六大技術變遷記的相關內容，更多信息可以關注環球青藤分享更多干貨

『柒』 什麼叫大數據

什麼叫大數據？
大數據-網路

大數據(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
大數據-維基網路
大數據（英語：Big data或Megadata），或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理、並整理成為人類所能解讀的信息[3][4]。在總數據量相同的情況下，與個別分析獨立的小型數據集（data set）相比，將各個小型數據集合並後進行分析可得出許多額外的信息和數據關系性，可用來察覺商業趨勢、判定研究質量、避免疾病擴散、打擊犯罪或測定實時交通路況等；這樣的用途正是大型數據集盛行的原因。
截至2012年，技術上可在合理時間內分析處理的數據集大小單位為艾位元組（exabytes）。在許多領域，由於數據集過度龐大，科學家經常在分析處理上遭遇限制和阻礙；這些領域包括氣象學、基因組學[9]、神經網路體學、復雜的物理模擬，以及生物和環境研究。這樣的限制也對網路搜索、金融與經濟信息學造成影響。數據集大小增長的部分原因來自於信息持續從各種來源被廣泛收集，這些來源包括搭載感測設備的移動設備、高空感測科技（遙感）、軟體記錄、相機、麥克風、無線射頻辨識（RFID）和無線感測網路。自1980年代起，現代科技可存儲數據的容量每40個月即增加一倍；截至2012年，全世界每天產生2.5艾位元組（2.5×1018）的數據。
大數據幾乎無法使用大多數的資料庫管理系統處理，而必須使用「在數十、數百甚至數千台伺服器上同時平行運行的軟體」。大數據的定義取決於持有數據組的機構之能力，以及其平常用來處理分析數據的軟體之能力。「對某些組織來說，第一次面對數百GB的數據集可能讓他們需要重新思考數據管理的選項。對於其他組織來說，數據集可能需要達到數十或數百兆位元組才會對他們造成困擾。」
隨著大數據被越來越多的提及，有些人驚呼大數據時代已經到來了，2012年《紐約時報》的一篇專欄中寫到，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。但是並不是所有人都對big data感興趣，有些人甚至認為這是商學院或咨詢公司用來嘩眾取寵的buzzword，看起來很新穎，但只是把傳統重新包裝，之前在學術研究或者政策決策中也有海量數據的支撐，大數據並不是一件新興事物。
大數據時代的來臨帶來無數的機遇，但是與此同時個人或機構的隱私權也極有可能受到沖擊，大數據包含了各種個人信息數據，現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出，大數據時代，個人是否擁有「被遺忘權」，被遺忘權即是否有權利要求數據商不保留自己的某些信息，大數據時代信息為某些互聯網巨頭所控制，但是數據商收集任何數據未必都獲得用戶的許可，其對數據的控制權不具有合法性。2014年5月13日歐盟法院就「被遺忘權」（right to be forgotten）一案作出裁定，判決Google應根據用戶請求刪除不完整的、無關緊要的、不相關的數據以保證數據不出現在搜索結果中。這說明在大數據時代，加強對用戶個人權利的尊重才是時勢所趨的潮流。

『捌』 全球大數據發展的新動向與新趨勢

全球大數據發展的新動向與新趨勢
目前，伴隨移動互聯網、智能硬體和物聯網的快速普及，全球數據總量呈現指數級增長態勢，與此同時，機器學習等先進的數據分析技術創新也日趨活躍，使得大數據隱含的價值得以更大程度的顯現，一個更加註重數據價值的新時代正悄然來臨。
瑞士洛桑國際管理學院2017年度《世界數字競爭力排名》顯示，各國數字競爭力與其整體競爭力呈現出高度一致的態勢，即數字競爭力強的國家整體競爭力也很強，同時也更容易產生顛覆性創新。實際上，以美國、英國、韓國和日本等為代表的發達國家一向重視大數據在促進經濟發展和社會變革、提升國家整體競爭力等方面的重要作用，當前更是把大數據視為重要的戰略資源，大力搶抓大數據技術與產業發展先發優勢，積極捍衛本國數據主權，力爭在數字經濟時代佔得先機。我們從各國發展大數據的新舉措中或許可以窺探到大數據發展的新趨勢。
美國：穩步實施「三步走」戰略 打造面向未來的大數據創新生態
美國是率先將大數據從商業概念上升至國家戰略的國家，通過穩步實施「三步走」戰略，在大數據技術研發、商業應用以及保障國家安全等方面已全面構築起全球領先優勢。
第一步快速部署大數據核心技術研究，並在部分領域積極開發大數據應用。2012年白宮科技政策辦公室發布《大數據研究發展倡議》，以提升從海量和復雜數據中獲取知識、挖掘價值的能力，進而推動科學與工程領域創新步伐加速。第二步調整政策框架與法律規章，積極應對大數據發展帶來的隱私保護等問題。2014年美國發布《大數據：把握機遇，守護價值》白皮書，再次重申要把握大數據可為經濟社會發展帶來創新動力的重大機遇，同時也要高度警惕大數據應用所帶來的隱私、公平等問題，以積極、務實的態度深刻剖析可能面臨的治理挑戰。第三步強化數據驅動的體系和能力建設，為提升國家整體競爭力提供長遠保障。2016年美國發布《聯邦大數據研發戰略計劃》，形成涵蓋技術研發、數據可信度、基礎設施、數據開放與共享、隱私安全與倫理、人才培養以及多主體協同等七個維度的系統的頂層設計，打造面向未來的大數據創新生態。
特朗普就任美國總統後，對大數據應用及其產業發展持續關注，並督促相關部門實施大數據重大項目，構建並開放高質量資料庫，強化5G、物聯網和高速寬頻互聯網等大數據基礎設施，促進數字貿易和跨境數據流動等。2017年4月美國能源部與退伍軍人事務部聯合發起「百萬退伍軍人項目（MVP）」，希望藉助機器學習技術分析海量數據，以改善退伍軍人健康狀況。2017年9月醫療保健研究與質量局發布美國首個可公開使用的資料庫，其中包括全美600多個衛生系統。白宮科技政策辦公室一直積極與他國展開合作，以預防數字經濟監管障礙、促進信息流動和反對數字本地化等。
英國：緊抓大數據產業機遇 應對脫歐後的經濟挑戰
大數據發展初期，英國在借鑒美國經驗和做法的基礎上，充分結合本國特點和需求，加大大數據研發投入、強化頂層設計，聚焦部分應用領域進行重點突破。近期英國特別重視大數據對經濟增長的拉動作用，密集發布《數字戰略2017》《工業戰略：建設適應未來的英國》等，希望到2025年數字經濟對本國經濟總量的貢獻值可達2000億英鎊，積極應對脫歐可能帶來的經濟增速放緩的挑戰。
2012年，英國便將大數據作為八大前瞻性技術領域之首，一次性投入1.89億英鎊用於相關科研與創新，在八大領域投入總額中佔比高達38.6%，遠超其餘七個領域。隨後，英國將全方位構建數據能力上升為國家戰略，於2013年發布《把握數據帶來的機遇：英國數據能力戰略規劃》，提出人力資本（研發人才與善於運用數據的民眾）、基礎設施和軟硬體開發能力，以及豐富開放的數據資產是發展大數據的核心，事關能否在未來競爭中占據領先優勢。該戰略同時提出了11項具體行動部署，短短兩三年便釋放出巨大的數字潛力。從2010年至2015年，數字經濟對英國經濟增加值的貢獻增長了21.7%，超過了同期經濟增加值增長率的17.4%，2015年數字經濟規模為1180億英鎊，在經濟增加值中的佔比超過了7%，其中數字商品和服務出口總值超過500億英鎊。
為從數據中挖掘出更大的價值，創造並維護一個能夠保持更多收益和增長的經濟體系，同時讓全社會都能從中收益，英國政府在2017年3月提出了新時期發展數字經濟的頂層設計《數字戰略2017》。新戰略中提出七大目標及相應舉措，特別是對各個目標都提出了更高標準的要求。一是打造世界一流的數字基礎設施，二是使每個人都能獲得所需的數字技能，三是成為最適合數字企業創業和成長的國家，四是推動每一個企業順利實現數字化智能化轉型，五是擁有最安全的網路安全環境，六是塑造平台型政府，為公眾提供最優質的數字公共服務，七是充分釋放各類數據的潛能的同時解決好隱私和倫理等問題。
2017年11月，英國面向全社會發布《工業戰略：建設適應未來的英國》白皮書，強調英國應積極應對人工智慧和大數據、綠色增長、老齡化社會以及未來移動性等四大挑戰，呼籲各方緊密合作，促進新技術研發與應用，以確保英國始終走在未來發展前沿，實現本輪技術變革的經濟和社會效益最大化。為此，2018年4月底英國專門發布《工業戰略：人工智慧》報告，立足引領全球人工智慧和大數據發展，從鼓勵創新、培養和集聚人才、升級基礎設施、優化營商環境以及促進區域均衡發展等五大維度提出一系列實實在在的舉措。
韓國：以大數據等技術為核心應對第四次工業革命
多年來，韓國的智能終端普及率以及移動互聯網接入速度一直位居世界前列，這使得其數據產出量也達到了世界先進水平。為充分利用這一天然優勢，韓國很早就制定了大數據發展戰略，並力促大數據擔當經濟增長的引擎。2016年年底，韓國發布以大數據等技術為基礎的《智能信息社會中長期綜合對策》，以積極應對第四次工業革命的挑戰。
2013年12月，韓國多部門便聯合發布「大數據產業發展戰略」，將發展重點集中在大數據基礎設施建設和大數據市場創造上。2015年年初，韓國給出全球進入大數據2.0時代的重大判斷，大數據技術日趨精細、專業服務日益多樣，數據收益化和創新商業模式是未來大數據的主要發展趨勢。基於此，在同年發布的《K-ICT》戰略中，韓國將大數據產業定義為九大戰略性產業之一，目標是到2019年使韓國躋身世界大數據三大強國。韓國還非常注重對他國經驗的借鑒，2015年5月中國發布《大數據發展調查報告》後，韓國專門對中國與韓國大數據應用情況進行了比較分析，並聚焦韓國大數據應用水平與大數據市場不協調的問題，提出了一系列新舉措。
近兩年全球第四次工業革命浪潮的到來，倒逼韓國重新審視本國智能製造和信息技術的發展，並於2016年年底提出《智能信息社會中長期綜合對策》，將大數據及其相關技術界定為智能信息社會的核心要素，並提出具體的發展目標與舉措。
一是充分挖掘數據資源價值，強化未來競爭力源頭。構築開放共享的大規模數據基礎設施，到2025年實現320個公共機構的數據開放；促進數據流通和使用，激活數據交易市場，推動公共和民間數據實現以價值為導向的交易；激活數據分析企業，到2020年數據專業服務企業規模達到100家；培養大數據專業人才，將每年培養的數據科學家數量從2017年的500名增長到2030年的1000名；發展區塊鏈技術，提高數據管理可靠性等。二是築牢大數據技術基礎。加強數學方法論研究，長期穩定支持新型學習推斷、量子計算、神經形態晶元等下一代計算技術研究，推動科研大數據開放共享，推進產業數據中心建設，強化產學研合作共同研發產業共性技術等。三是面向數據服務需求，構築超連接網路環境。確保頻率資源供應，有序推進5G商用化進程，實現大規模機器間通信，實現不同業務網路之間的實時超連接；推動通信運營商體系優化，摒除後發企業進入運營行業的壁壘；進一步強化物聯網和雲計算基礎設施並充分利用智能感測器數據；分階段引進量子通信與安全網路等。
大數據發展新趨勢
綜合以上幾個典型國家的新動向和新舉措，可以發現當前及未來全球大數據發展的新趨勢。
一是大數據與人工智慧、雲計算、物聯網、區塊鏈等技術日益融合，成為各國搶抓未來發展機遇的戰略性技術。英國在工業戰略中強調大數據與人工智慧的發展，很有可能推動現有的商品和服務市場被顛覆和取代。日本將大數據、物聯網和人工智慧界定為建設超智能社會服務平台必不可少的共性技術。韓國與日本相似，將智能信息化社會定義為「ICBM（物聯網、雲服務、大數據和手機）與AI（人工智慧）相融合的社會」。
二是大數據資源對各國經濟政治博弈的重要性更加凸顯。美國最新版國家安全戰略中，特朗普再次將「數據」比喻為一種能源，他認為掌握了數據及相關能力，就是為美國經濟的持續增長、有效抵制敵對意識形態以及部署建設最強大軍事力量等構建了最基礎的保障。最近的「臉書危機」事件，再加上近年來「劍橋分析」及其母公司「戰略通訊實驗室」參與多國領導人選舉活動事件，使得大數據資源及相關技術成為某些國家利益集團及企業影響政治生態和社會安全的重要手段，各國政治社會發展面臨的風險變得更加復雜和不可預測。
三是大數據應用基礎條件發生跨越式變化。一方面政府數據開放的廣度和深度將進一步拓寬，多源數據融合技術的進步，為公共服務數字化與智能化水平的提升提供了技術層面的保障，數據的標准化及開放則成為各國建設服務型政府和平台型政府的資源保障。另一方面大數據應用的基礎設施將成為與水電氣暖等相類似的設施，成為人們生活中必不可少的部分。這其中包括物聯網、智能硬體等數據採集類設施，5G、光通信等超高速數據傳輸類設施，以及超級計算機、雲計算以及邊緣計算等計算類設施，以及新型的存儲設施等等。
四是大數據安全為各國實現「平衡」發展帶來更嚴峻的挑戰。各國大數據發展戰略中，不同國家和地區對「數據開放共享」與「個人信息保護」的側重點不同，比如歐盟希望通過強制性的統一標准最大限度的保護個人隱私，而美國則更相對弱化法律約束、希望充分調動企業的主動性，這種態勢對未來全球大數據國際規則的融合發展提出了新難題。同時對大數據企業權利和義務也要進行再平衡，監管太嚴將限制企業創新的腳步，但如果放手太多，在實踐中難免出現企業對個人隱私大規模侵害的問題。