Ⅰ 中國大數據六大技術變遷記
中國大數據六大技術變遷記_數據分析師考試
集「Hadoop中國雲計算大會」與「CSDN大數據技術大會」精華之大成， 歷屆的中國大數據技術大會（BDTC） 已發展成為國內事實上的行業頂尖技術盛會。從2008年的60人Hadoop沙龍到當下的數千人技術盛宴，作為業內極具實戰價值的專業交流平台，每一屆的中國大數據技術大會都忠實地描繪了大數據領域內的技術熱點，沉澱了行業實戰經驗，見證了整個大數據生態圈技術的發展與演變。
2014年12月12-14日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會協辦，中科院計算所與CSDN共同承辦的 2014中國大數據技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。大會為期三天，以推進行業應用中的大數據技術發展為主旨，擬設立「大數據基礎設施」、「大數據生態系統」、「大數據技術」、「大數據應用」、「大數據互聯網金融技術」、「智能信息處理」等多場主題論壇與行業峰會。由中國計算機學會主辦，CCF大數據專家委員會承辦，南京大學與復旦大學協辦的「2014年第二屆CCF大數據學術會議」也將同時召開，並與技術大會共享主題報告。
本次大會將邀請近100位國外大數據技術領域頂尖專家與一線實踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟體的最新進展，NoSQL/NewSQL、內存計算、流計算和圖計算技術的發展趨勢，OpenStack生態系統對於大數據計算需求的思考，以及大數據下的可視化、機器學習/深度學習、商業智能、數據分析等的最新業界應用，分享實際生產系統中的技術特色和實踐經驗。
大會召開前期，特別梳理了歷屆大會亮點以記錄中國大數據技術領域發展歷程，並立足當下生態圈現狀對即將召開的BDTC 2014進行展望：
追本溯源，悉大數據六大技術變遷
伴隨著大數據技術大會的發展，我們親歷了中國大數據技術與應用時代的到來，也見證了整個大數據生態圈技術的發展與衍變：
1. 計算資源的分布化——從網格計算到雲計算。 回顧歷屆BDTC大會，我們不難發現，自2009年，資源的組織和調度方式已逐漸從跨域分布的網格計算向本地分布的雲計算轉變。而時至今日，雲計算已成為大數據資源保障的不二平台。
2. 數據存儲變更——HDFS、NoSQL應運而生。 隨著數據格式越來越多樣化，傳統關系型存儲已然無法滿足新時代的應用程序需求，HDFS、NoSQL等新技術應運而生，並成為當下許多大型應用架構不可或缺的一環，也帶動了定製計算機/伺服器的發展，同時也成為大數據生態圈中最熱門的技術之一。
3. 計算模式改變——Hadoop計算框成主流。 為了更好和更廉價地支撐其搜索服務，Google創建了Map/Rece和GFS。而在Google論文的啟發下，原雅虎工程師Doug Cutting開創了與高性能計算模式迥異的，計算向數據靠攏的Hadoop軟體生態系統。Hadoop天生高貴，時至今日已成為Apache基金會最「Hot」的開源項目，更被公認為大數據處理的事實標准。Hadoop以低廉的成本在分布式環境下提供了海量數據的處理能力。因此，Hadoop技術研討與實踐分享也一直是歷屆中國大數據技術大會最亮眼的特色之一。
4. 流計算技術引入——滿足應用的低延遲數據處理需求。 隨著業務需求擴展，大數據逐漸走出離線批處理的范疇，Storm、Kafka等將實時性、擴展性、容錯性和靈活性發揮得淋漓盡致的流處理框架，使得舊有消息中間件技術得以重生。成為歷屆BDTC上一道亮麗的風景線。
5. 內存計算初露端倪——新貴Spark敢與老將叫板。 Spark發源於美國加州大學伯克利分校AMPLab的集群計算平台，它立足於內存計算，從多迭代批量處理出發，兼容並蓄數據倉庫、流處理和圖計算等多種計算範式，是罕見的全能選手。在短短4年，Spark已發展為Apache軟體基金會的頂級項目，擁有30個Committers，其用戶更包括IBM、Amazon、Yahoo!、Sohu、網路、阿里、騰訊等多家知名公司，還包括了Spark SQL、Spark Streaming、MLlib、GraphX等多個相關項目。毫無疑問，Spark已站穩腳跟。
6. 關系資料庫技術進化—NewSQL改寫資料庫歷史。 關系資料庫系統的研發並沒有停下腳步，在橫向擴展、高可用和高性能方面也在不斷進步。實際應用對面向聯機分析處理（OLAP）的MPP（Massively Parallel Processing）資料庫的需求最迫切，包括MPP資料庫學習和採用大數據領域的新技術，如多副本技術、列存儲技術等。而面向聯機事務處理（OLTP）的資料庫則向著高性能演進，其目標是高吞吐率、低延遲，技術發展趨勢包括全內存化、無鎖化等。
立足揚帆，看2014大數據生態圈發展
時光荏苒，轉眼間第2014中國大數據技術大會將如期舉行。在技術日新月異的當下，2014年的BDTC上又可以洞察些什麼？這里我們不妨著眼當下技術發展趨勢：
1. MapRece已成頹勢，YARN/Tez是否可以再創輝煌？ 對於Hadoop來說，2014是歡欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等眾多巨頭都加大了Hadoop方面的投入。然而對於眾多機構來說，這一年卻並不輕松：基於MapRece的實時性短板以及機構對更通用大數據處理平台的需求，Hadoop 2.0轉型已勢在必行。那麼，在轉型中，機構究竟會遭遇什麼樣的挑戰？各個機構如何才能更好地利用YARN所帶來的新特性？Hadoop未來的發展又會有什麼重大變化？為此，BDTC 2014特邀請了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成員Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等國際頂尖Hadoop專家，我們不妨當面探討。
2. 時過境遷，Storm、Kafka等流計算框架前途未卜。 如果說MapRece的緩慢給眾多流計算框架帶來了可乘之機，那麼當Hadoop生態圈組件越發成熟，Spark更加易用，迎接這些流計算框架的又是什麼？這里我們不妨根據BDTC 2014近百場的實踐分享進行一個側面的了解，亦或是與專家們當面交流。
3. Spark，是顛覆還是補充？ 與Hadoop生態圈的兼容，讓Spark的發展日新月異。然而根據近日Sort Benchmark公布的排序結果，在海量（100TB）離線數據排序上，對比上屆冠軍Hadoop，Spark以不到十分之一的機器，只使用三分之一的時間就完成了同樣數據量的排序。毫無疑問，當下Spark已不止步於實時計算，目標直指通用大數據處理平台，而終止Shark，開啟Spark SQL或許已經初見端倪。那麼，當Spark愈加成熟，更加原生的支持離線計算後，開源大數據標准處理平台這個榮譽又將花落誰家？這里我們一起期待。
4. 基礎設施層，用什麼來提升我們的網路？ 時至今日，網路已成為眾多大數據處理平台的攻堅對象。比如，為了克服網路瓶頸，Spark使用新的基於Netty的網路模塊取代了原有的NIO網路模塊，從而提高了對網路帶寬的利用。那麼，在基礎設施層我們又該如何克服網路這個瓶頸？直接使用更高效的網路設備，比如Infiniband能夠帶來多少性能提升？建立一個更智能網路，通過計算的每個階段，自適應來調整拆分/合並階段中的數據傳輸要求，不僅提高了速度，也提高了利用率。在BDTC 2014上，我們可以從Infiniband/RDMA技術及應用演講，以及數場SDN實戰上吸取寶貴的經驗。
5. 數據挖掘的靈魂——機器學習。 近年來，機器學習領域的人才搶奪已進入白熱化，類似Google、IBM、微軟、網路、阿里、騰訊對機器學習領域的投入也是愈來愈高，囊括了晶元設計、系統結構（異構計算）、軟體系統、模型演算法和深度應用各個方面。大數據標志一個新時代的到來，PB數據讓人們坐擁金山，然而缺少了智能演算法，機器學習這個靈魂，價值的提取無疑變得鏡花水月。而在本屆會議上，我們同樣為大家准備了數場機器學習相關分享，靜候諸位參與。
而在技術分享之外，2014年第二屆CCF大數據學術會議也將同時召開，並與技術大會共享主題報告。屆時，我們同樣可以斬獲許多來自學術領域的最新科研成果。
以上是小編為大家分享的關於中國大數據六大技術變遷記的相關內容，更多信息可以關注環球青藤分享更多干貨
Ⅱ 閑話國內大數據發展簡史&產業化落地
文·blogchong
之所以想要說一說這個話題，是因為下午在技術群中不經意間，就類似話題進行了比較劇烈的腦暴討論。
討論范圍包括了互聯網公開數據的挖掘、價值變現、數據獲取的合法性以及數據產業落地等相關方向。
當時就一直在思考這個問題，後續完了自己又想了幾遍，發現確實有所得，也挺多東西想表達一下的。
大數據是在2009年開始相對比較正式引入國內的，基本上與Hadoop的「入侵」國內同步。
但在那時其實並沒有實際落地的東西，除了一些大公司在試探性使用，直到2012-2013年，國外已經完成一輪「探險」，國內才陸續開始思考大數據如何落地的事了。
確實是這樣的，國內在新技術領域上，一向落後於國外半拍，而我也恰恰也是在那個時候「入坑」的。
那個時候其實很多公司企業(除了當時BAT內部使用的案例)，也是在嘗試性的涉足大數據領域，一邊追逐技術的完善，一邊在探索大數據與實際業務的結合點。
直到2014年，算是大數據在國內的一個爆發點，正式的轉折點。
首先，以Hadoop為代表的生態趨於成熟，甚至結合內存處理領域、數據實時處理領域，已經形成了一套完整的大數據平台技術解決方案。
其次，已經越來越公司結束了探索性實驗，用實際的成果嘗到了大數據這種處理模式的好處，已經形成了越來越多的實際可參考的良性案例。
當然，最重要的是確實存在實際的規模數據處理的需求。其實這個需求一直存在，只是很多時候沒有找到合適的契機爆發出來。
也就是從2014開始，大數據的人才市場需求在急劇擴增，很多其他IT領域開發人員紛紛轉型到數據行業，其中以逐漸沒落的傳統IT行業為代表。
有人才市場需求，進一步促進了大數據培訓市場的發展，各種大數據培訓機構如雨後春筍般的出現。
其實這也是沒辦法的事，因為當時還沒有哪個高校開設有大數據相關的課程呢。
當然，這波浪潮同樣卷到了學術界，部分高校也意識到了這個技術大勢，陸續有不少高校開始開設大數據相關的專業課程。
2015年，隨著互聯網的發展，市場各種互聯網應用需求的飽和，導致了流量紅利的消失，讓很多企業公司不得不考慮通過數據來提升效率以及推進用戶體驗，例如推薦系統、個性化服務等。
資本市場從2014-2015年逐漸介入，進一步促進各大互聯網企業公司向數據化轉型，使得大數據這個領域進一步達到高潮。
我們知道，資本市場算是迎來半個寒冬，流量紅利的消失，o2o在15年底都死的差不多了，16年讓資本市場變得更謹慎。
但是，就算是這樣，國內很多以大數據為技術驅動的公司依然拿了不少融資，包括神策、諸葛IO、GrowingIO等第三方數據分析公司，明略數據等這種針對於服務偏傳統行業的數據公司，甚至如DataEye類似垂直領域的數據分析公司都活的好好的。
同時，在國家政策方面，2016年可謂是大數據的國家政策元年，各種國家政策開始偏向大數據。
這意味著，大數據已經從半個風口的狀態，過渡到理性、穩健的狀態，這是一個良性的狀態。
正如上面所說，目前大數據已經逐漸從「潮流」這種略帶風險性的標志狀態，過渡到穩健、良性發展的狀態。
提前「入坑」的童鞋，相信已經享受到「潮流」帶來的部分福利，包括比其他普通IT同行們略高的薪酬待遇，以及更多、更自由的選擇性等。
好吧，其中也包括我了~~ 哈哈
那麼，後續會是一種什麼樣的情況呢？
首先，數據化依然會是一個不可逆的趨勢，在資本以及政策的驅動下，更多的公司會逐漸的進行數據化，甚至包括很多傳統IT產業，一樣擋不住這個大勢。
那麼在人才市場需求上的情況呢？個人感覺需求還是在的，因為市場遠沒有達到飽和，但是福利待遇會有所下降。
這是為什麼呢？
2016-2017年，各大高校逐漸會開始投放專業的「正規軍」，是的，那些大數據專業的學生們將被正式投放到市場中了。
此外，從2014年到2016年，大數據的培訓市場一直在增加的，不管是線上的還是線下的。
這意味著，每年，哦不，應該是每幾個月都會有大量的大數據速成工投放到人才需求市場中。
最重要的一點，經過四五年的大浪淘沙，市場已經有一大批「自學成才」的「老司機」可以撐起場面了。
在人才需求以及人才的待遇上，而不是一才難求的現象了，也會逐漸的趨於良性，趨於理性(之前寫過一篇大數據招聘亂象的文章，喜歡可以看看 《你們是不是真的很缺大數據工程師？》 )。
所以，如果你從大學剛畢業出來，發現大數據沒有傳說中那麼「香饃饃」，也不要奇怪；而從大數據培訓流水線上下來的童鞋們，也需要做好准備，薪水可能無法跟你想像中那樣了，翻個幾倍之類的。
不過「老司機們」到不用太過於擔心，雖然大數據的人才市場趨於日漸飽和，但是「駕齡」足夠，「車」開的足夠溜的，依然只有那麼一小戳人。
你依然是稀缺資源，所以不要怕怕。
你看我就不怕怕，哈哈~~
雖然，這一切看似良好，但是有些東西依然值得我們更進一步的深思。
正如之前在技術群中進行腦暴討論的那樣，這幾年大數據雖然市場需求不少，但是依然難以達到產業化的狀態。
這里貼一個產業化的概念：產業化是指某種產業在市場經濟條件下，以行業需求為導向，以實現效益為目標，依靠專業服務和質量管理，形成的系列化和品牌化的經營方式和組織形式。
目前大數據的實際落地形式大部分都以輔助、加速其他業務為主，起一個催化劑，提升效率，加快速度的作用，鮮有看到以大數據作為獨立產業而存在的。
當然也有，比如上面提到的第三方數據分析商、垂直領域的DataEye，以及為企業提供大數據解決方案的明略數據等，也算是以大數據為根深立命而存在的。
但是總體來說，真的不多，而且絕大部分都是以2B的形式存在。我們知道，從格局上來看，2B的產品永遠是難以做到2C產品那種真正宏偉規模，改變產業格局的。
所以，從這點來說，雖然你市場需求放在這里，但想真正以大數據為切入點、為立足的根本做點事，其實也沒有想像中那麼容易。
糾結~~
不過作為大數據領域的半個「老司機」，依然是希望大數據這個技術領域、這個行業，有一天能夠形成獨立的、推動人類進程的一些東西。
亦如互聯網、亦如社交網路、亦如電子商務、亦如移動互聯網等！
最近一直有很多新手同行們向我請教大數據方向上的一些事，自己也一直在思考互聯網開放數據落地變現、以及大數據產業格局相關的問題。
所以，想的多了，對一些東西還是有一些看法的，藏在心中不吐不快。
也希望，上面閑話里的一些東西能夠引起你的一些共鳴，當然反駁也歡迎，歡迎一切與人格無關，與技術有關、與業態有關的探討。
下次希望有時間，能和大家一起探討一些關於互聯網開放數據落地變現相關的話題，這也是我目前一直想探索的東西，下次如果有所收獲再寫點 東西吧。
(正文完)
Ⅲ 大數據的歷史
李娜再度奪得大滿貫，超越了張德培的華人大滿貫紀錄，非舉國體制下的奇跡造就了舉國的愉悅。
在總結李娜成功因素的時候，也再次看到了這樣的言論：是大數據起到了重要的作用。但這次李娜奪冠，最靠譜的解釋就是李娜在卡洛斯的幫助下大大提升了心理層面的戰鬥力。
在技術層面領先的前提下，李娜在整場比賽中克服了節奏問題，她具備了一顆冠軍的心臟。2012年9月6日，代表亞洲網球至高水平的中國選手李娜在美國迎戰名將小威廉姆斯。
當時，IBM公司在綜合了美網過去8年的全部比賽數據之後，為參賽球員制定了「Keys to the march」的比賽制勝策略。李娜一方獲得贏球的關鍵包括3個指標：1.一發得分率超過69%;2.4-9拍相持中得分利率要超過48%:3.發球局30-30或40-40時得分率要超過67%。
比賽結果是，李娜潰敗。比賽結束後，IBM高調地宣布李娜僅僅完成了三項制勝策略中的項，而小威廉姆斯則完成了自己三項制勝策略中的兩項。
於是，很多人就順著IBM的思路問，李娜為什麼不照著BM的策略去打球？其實，當當事人的主觀願望不積極的時候，大數據對他們來說不過是噪音而已。同樣，數據也會因為主觀意願具有欺騙性。
我們很多時候都會被誤導，認為大數據的作用是讓歷史提示未來。其實不然。
在網球這樣的領域里，歷史數據甚至常常會成為陷阱。有意思的是，在另一場女子網球比賽中，一位球員做到了IBM為其制定的三項指標中的兩個，她卻失敗了。
而勝利的一方，只完成了一個指標。
可按照時間點劃分大數據的發展歷程。
大數據時代發展的具體歷程如下：2005年Hadoop項目誕生。 Hadoop其最初只是雅虎公司用來解決網頁搜索問題的一個項目，後來因其技術的高效性，被Apache Software Foundation公司引入並成為開源應用。
Hadoop本身不是一個產品，而是由多個軟體產品組成的一個生態系統，這些軟體產品共同實現全面功能和靈活的大數據分析。從技術上看，Hadoop由兩項關鍵服務構成：採用Hadoop分布式文件系統（HDFS）的可靠數據存儲服務，以及利用一種叫做MapRece技術的高性能並行數據處理服務。
這兩項服務的共同目標是，提供一個使對結構化和復雜數據的快速、可靠分析變為現實的基礎。2008年末，「大數據」得到部分美國知名計算機科學研究人員的認可，業界組織計算社區聯盟 （puting munity Consortium），發表了一份有影響力的白皮書《大數據計算：在商務、科學和社會領域創建革命性突破》。
它使人們的思維不僅局限於數據處理的機器，並提出：大數據真正重要的是新用途和新見解，而非數據本身。此組織可以說是最早提出大數據概念的機構。
2009年印度 *** 建立了用於身份識別管理的生物識別資料庫，聯合國全球脈沖項目已研究了對如何利用手機和社交網站的數據源來分析預測從螺旋價格到疾病爆發之類的問題。同年，美國 *** 通過啟動://Data.gov網站的方式進一步開放了數據的大門，這個網站向公眾提供各種各樣的 *** 數據。
該網站的超過4.45萬量數據集被用於保證一些網站和智能手機應用程序來跟蹤從航班到產品召回再到特定區域內失業率的信息，這一行動激發了從肯亞到英國范圍內的 *** 們相繼推出類似舉措。2009年，歐洲一些領先的研究型圖書館和科技信息研究機構建立了夥伴關系致力於改善在互聯網上獲取科學數據的簡易性。
2010年2月，肯尼斯ž庫克爾在《經濟學人》上發表了長達14頁的大數據專題報告《數據，無所不在的數據》。庫克爾在報告中提到：「世界上有著無法想像的巨量數字信息，並以極快的速度增長。
從經濟界到科學界，從 *** 部門到藝術領域，很多方面都已經感受到了這種巨量信息的影響。科學家和計算機工程師已經為這個現象創造了一個新詞彙：「大數據」。
庫克爾也因此成為最早洞見大數據時代趨勢的數據科學家之一。2011年2月，IBM的沃森超級計算機每秒可掃描並分析4TB（約2億頁文字量）的數據量，並在美國著名智力競賽電視節目《危險邊緣》「Jeopardy」上擊敗兩名人類選手而奪冠。
後來 *** 認為這一刻為一個「大數據計算的勝利。」 相繼在同年5月，全球知名咨詢公司麥肯錫（McKinsey&pany）肯錫全球研究院（MGI）發布了一份報告——《大數據：創新、競爭和生產力的下一個新領域》，大數據開始備受關注，這也是專業機構第一次全方面的介紹和展望大數據。
報告指出，大數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。
報告還提到，「大數據」源於數據生產和收集的能力和速度的大幅提升——由於越來越多的人、設備和感測器通過數字網路連接起來，產生、傳送、分享和訪問數據的能力也得到徹底變革。2011年12 月，工信部發布的物聯網十二五規劃上，把信息處理技術作為4 項關鍵技術創新工程之一被提出來，其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析，這都是大數據的重要組成部分。
2012年1月份，瑞士達沃斯召開的世界經濟論壇上，大數據是主題之一，會上發布的報告《大數據，大影響》（Big Data, Big Impact） 宣稱，數據已經成為一種新的經濟資產類別，就像貨幣或黃金一樣。2012年3月，美國奧巴馬 *** 在白宮網站發布了《大數據研究和發展倡議》，這一倡議標志著大數據已經成為重要的時代特徵。
2012年3月22日，奧巴馬 *** 宣布2億美元投資大數據領域，是大數據技術從商業行為上升到國家科技戰略的分水嶺，在次日的電話會議中， *** 對數據的定義「未來的新石油」，大數據技術領域的競爭，事關國家安全和未來。並表示，國家層面的競爭力將部分體現為一國擁有數據的規模、活性以及解釋、運用的能力；國家數字 *** 體現對數據的佔有和控制。
數字 *** 將是繼邊防、海防、空防之後，另一個大國博弈的空間。2012年4月，美國軟體公司Splunk於19日在納斯達克成功上市，成為第一家上市的大數據處理公司。
鑒於美國經濟持續低靡、股市持續震盪的大背景，Splunk首日的突出交易表現尤其令人們印象深刻，首日即暴漲了一倍多。Splunk是一家領先的提供大數據監測和分析服務的軟體提供商，成立於2003年。
Splunk成功上市促進了資本市場對大數據的關注，同時也促使IT廠商加快大數據布局。2012年7月，聯合國在紐約發布了一份關於大數據政務的白皮書，總結了各國 *** 如何利用大數據更好地服務和保護人民。
這份白皮書舉例說明在一個數據生態系統中，個人、公共部門和私人部門各自的角色、動機和需求：例如通過對價格關注和更好服務的渴望，個人提供數據和眾包信息，並對隱。
進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。
它已經上過《 *** 》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。 數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。
正如《 *** 》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里·金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是 *** ，所有領域都將開始這種進程。」
。
大數據時代：最早提出大數據時代到來的是全球知名咨詢公司麥肯錫， 大數據在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為近年來互聯網和信息行業的發展而引起人們關注。
大數據提出的背景：進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數據，並命名與之相關的技術發展與創新。它已經上過《 *** 》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
數據正在迅速膨脹並變大，它決定著企業的未來發展，雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業的重要性。正如《 *** 》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是 *** ，所有領域都將開始這種進程。」 (3)大數據應用技術的發展歷史擴展閱讀 大數據影響 現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。大數據（Big data）通常用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。
大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。 在現今的社會，大數據的應用越來越彰顯他的優勢，它佔領的領域也越來越大，電子商務、O2O、物流配送等，各種利用大數據進行發展的領域正在協助企業不斷地發展新業務，創新運營模式。
有了大數據這個概念，對於消費者行為的判斷，產品銷售量的預測，精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。「大數據」在互聯網行業指的是這樣一種現象：互聯網公司在日常運營中生成、累積的用戶網路行為數據。
這些數據的規模是如此龐大，以至於不能用G或T來衡量。大數據到底有多大？一組名為「互聯網上一天」的數據告訴我們，一天之中，互聯網產生的全部內容可以刻滿1.68億張DVD；發出的郵件有2940億封之多（相當於美國兩年的紙質信件數量）。
發出的社區帖子達200萬個（相當於《時代》雜志770年的文字量）；賣出的手機為37.8萬台，高於全球每天出生的嬰兒數量37.1萬…… 截止到2012年，數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司（IDC）的研究結果表明，2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的數據。
而到2012年為止，人類生產的所有印刷材料的數據量是200PB，全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。
而到了2020年，全世界所產生的數據規模將達到今天的44倍。 每一天，全世界會上傳超過5億張圖片，每分鍾就有20小時時長的視頻被分享。
然而，即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。這樣的趨勢會持續下去。
我們現在還處於所謂「物聯網」的最初級階段，而隨著技術成熟，我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%，達到了4000億美元。
大數據的精髓 大數據帶給我們的三個顛覆性觀念轉變：是全部數據，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。A.不是隨機樣本，而是全體數據：在大數據時代，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不再依賴於隨機采樣（隨機采樣，以前我們通常把這看成是理所應當的限制，但高性能的數字技術讓我們意識到，這其實是一種人為限制）； B.不是精確性，而是混雜性：研究數據如此之多，以至於我們不再熱衷於追求精確度；之前需要分析的數據很少，所以我們必須盡可能精確地量化我們的記錄，隨著規模的擴大，對精確度的痴迷將減弱；擁有了大數據，我們不再需要對一個現象刨根問底，只要掌握了大體的發展方向即可。
適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力； C.不是因果關系，而是相關關系：我們不再熱衷於找因果關系，尋找因果關系是人類長久以來的習慣，在大。
大數據是一種現代雲基礎架構，它包含了多種與其他人連接和共享信息的方法。它推動了「物聯網」的發展，如通過社交網站連接人、通過共享朋友或網路來尋找人們之間互相認識的可能性。大數據的背後運行著人工智慧，而它對於大多數人而言是完全透明的，人們不知道背後有這樣的技術。大數據位於人們日常使用的智能手機之後，然後人們通過它給移動互聯網貢獻信息，即使他們並沒有意識到這一點。
為什麼大數據如此重要？
第一，對大數據的處理分析正成為新一代信息技術融合應用的結點。移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。雲計算為這些海量、多樣化的大數據提供存儲和運算平台。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。
第二，大數據是信息產業持續高速增長的新引擎。面向大數據市場的新技術、新產品、新服務、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。
第三，大數據利用將成為提高核心競爭力的關鍵因素。各行各業的決策正在從「業務驅動」 轉變「數據驅動」。
總結
在大數據時代到來的時候，要用大數據的思維去發掘大數據的潛在價值。大數據的意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。從前我們所了解的數據是冷冰冰的、死氣沉沉的，被存到冷備份默默地等著人拿出來用，我們對待數據的感覺十分消極，要先想清楚其用處才開始分析應用。現在，數據時代來臨了，人們正在試圖點燃數據，使其變熱，賦予生命。所謂「活數據」，是動態的數據，流通的數據，因互動而產生，因產生而互動，是自然演化的數據，要用大數據的思維去考慮這些數據怎樣才能帶來效益。未來大數據的發展前景非常好，與大數據相關的職業比如數據挖掘師，數據分析師等必定會有廣闊的發展空間。
這個問題是這樣的：
首先你要明確你的插入是正常業務需求么？如果是，那麼只能接受這樣的數據插入量。
其次你說資料庫存不下了 那麼你可以讓你的資料庫上限變大 這個你可以在資料庫裡面設置的 裡面有個資料庫文件屬性 maxsize
最後有個方法可以使用，如果你的歷史數據不會對目前業務造成很大影響 可以考慮歸檔處理 定時將不用的數據移入歷史表 或者另外一個資料庫。
注意平時對資料庫的維護 定期整理索引碎片
Ⅳ 大數據時代發展歷程是什麼
可按照時間點劃分大數據的發展歷程。