大數據技術演變

A. 大數據的起源是哪裡

• 大數據概念最初起源於美國，是由思科、威睿、甲骨文、IBM 等公司倡議發展起來的。大約從2009年始，「大數據」成為互聯網信息技術行業的流行詞彙。

• 大數據是一個不斷演變的概念，當前的興起，是因為從IT技術到數據積累，都已經發生重大變化。當今世界，大數據無處不在，它影響到了我們的工作、生活和學習，並將繼續施加更大的影響。

B. 大數據技術的發展趨勢有哪些

大數據的發展趨勢

1、演算法（Algorithms）的崛起

霧計算正在迅速地獲得大量動力。霧計算是指推進連接到物聯網的終端設備和存儲數據的雲計算之間的存儲、傳輸和計算。隨著物聯網的進步，霧計算勢頭越來越猛，因為感測器變得相當精密，它們現在可以收集大量數據。

據Gartner稱，智能機器是新的現實。因此，在未來我們將看到更多的智能機器有著越來越多的精密感測器，能收集大量的數據。組織將不得不轉向霧分析，以便數據易於管理，保持洞察力可用並盡可能降低成本。

C. 淺述大數據技術的發展歷程與未來發展趨勢

大數據技術的發展歷程與未來發展趨勢：

從文明之初的「結繩記事」，到文字發明後的「文以載道」，再到近現代科學的「數據建模」，數據一直伴隨著人類社會的發展變遷，承載了人類基於數據和信息認識世界的努力和取得的巨大進步。

然而，直到以電子計算機為代表的現代信息技術出現後，為數據處理提供了自動的方法和手段，人類掌握數據、處理數據的能力才實現了質的躍升。信息技術及其在經濟社會發展方方面面的應用(即信息化)，推動數據(信息)成為繼物質、能源之後的又一種重要戰略資源。

大數據於2012、2013年達到其宣傳高潮，2014年後概念體系逐漸成形，對其認知亦趨於理性。大數據相關技術、產品、應用和標准不斷發展，逐漸形成了包括數據資源與API、開源平台與工具、數據基礎設施、數據分析、數據應用等板塊構成的大數據生態系統，並持續發展和不斷完善，其發展熱點呈現了從技術向應用、再向治理的逐漸遷移。

經過多年來的發展和沉澱，人們對大數據已經形成基本共識是大數據現象源於互聯網及其延伸所帶來的無處不在的信息技術應用以及信息技術的不斷低成本化。大數據泛指無法在可容忍的時間內用傳統信息技術和軟硬體工具對其進行獲取、管理和處理的巨量數據集合，具有海量性、多樣性、時效性及可變性等特徵，需要可伸縮的計算體系結構以支持其存儲、處理和分析。

D. 5、伴隨著計算機技術的發展,「數據」是如何演變的

數據分析1.0 → 商業智能需求

這是數據倉庫的興起時期，客戶（業務）和生產過程（交易）被集中到巨大的存儲庫中，如eCDW（企業整合數據倉庫）。在對商業現象的客觀理解方面取得了真正的進展， 從而讓管理者在做出決策時能夠基於對事實的理解，而不是僅憑直覺。

這個階段中數據通過ETL和BI工具收集、轉換和查詢。分析類型主要分為描述性（發生了什麼）和診斷性（為什麼會發生）。

然而，這個階段的局限在於數據僅在公司企業內部使用，即商業智能活動只能處理過去發生的事情，而不能對未來趨勢進行預測。

數據分析 2.0 →大數據

隨著各大企業都紛紛走出舒適區，試圖用更廣泛的方法進行更復雜的分析時，前一階段的數據分析局限性變得更加突出。

企業都開始通過外部資源獲取信息，比如點擊流、社交媒體、互聯網等，與此同時對新工具的需求也越發明顯。不可避免地，「大數據」一詞出現了，為了區分那些純粹來自公司內部系統的小數據。

在這個階段，公司希望員工能夠通過快速處理引擎幫助處理大量數據。他們沒預想到的是，因此應運而生的新興的群體，即如今所稱的「開源社區」將產生巨大的影響力，這也是數據分析 2.0時代的標志。

在社區前所未有的支持下，大數據工程師，Hadoop管理員等角色在就業領域發展壯大，並且對每個IT企業都至關重要。科技公司急於開發新的框架，這些框架不僅能夠收集、轉化處理大數據，而且還能在集成預測性分析。而且，進一步通過描述性和診斷分析的結果檢測趨勢、聚類和異常，並預測未來趨勢，這也使其成為重要的預測工具。

在今天的技術生態系統中，我個人認為「大數據」這個術語已經被大量使用，甚至濫用。從技術上講，如今「大數據」指的是所有數據，或者只是指數據。

數據分析 3.0→ 功能強大的數據產品

開創性的大數據公司開始投資數據分析，從而支持面向客戶的產品，服務和功能。它們通過更好的搜索演算法、購買建議以及針對性廣告吸引用戶訪問其網站，所有這些都是由數據分析所驅動的。大數據現象迅速蔓延，如今不僅是科技公司在通過數據分析開發產品和服務，幾乎每個行業的公司都是如此。

另一方面，大數據技術的普及帶來了好壞參半的影響。在科技巨頭收獲大量利潤取得成功的同時，大多數企業和非科技公司卻因為忽略數據而失敗慘重。因此，數據科學領域應運而生，旨在使用科學方法、探索過程、演算法等從各種形式的數據中獲得知識和分析見解。

實際上，數據科學領域是跨學科的，它被定義為「結合統計、數據分析、機器學習等相關方法的概念」，從而用數據「理解和分析實際現象」。換句話說，良好的數據加上出色的訓練模型能夠產生更好的預測結果。新一代的量化分析師被稱為數據科學家，他們擁有計算和數據分析技能。

科技行業在數據科學的幫助下迅速發展，並充分利用預測性和規范性對未來趨勢進行預測。企業間也開啟了數據分析的競爭，公司不僅通過改善內部決策等傳統方式，而且還在不斷開發更有價值的產品和服務。這是數據分析 3.0時期的精髓。

如今數據分析產生了巨大轉變。公司正以超乎想像的速度發展，在內部設立更多的研發部門，比如數據科學家、數據工程師、解決方案架構師、首席分析師等人員構成的數據分析團隊。

數據分析 4.0 → 自動化功能

主要有四種分析類型：描述，闡述過去; 診斷，利用過去的數據研究現在; 預測，通過基於過去數據的見解來預測未來; 規范，通過模型指導最佳行為。

雖然數據分析3.0包含了上述所有類型，但它強調的是最後一種，並且引入了小規模自動化分析的概念。

通過機器學習創建更多模型，從而讓預測變得更加細化和精確。但是，部署這類定製模型的成本和時間是十分昂貴的。最終，通過智能系統實現自動化的數據分析4.0時代到來了。

毫無疑問，人工智慧、機器學習、深度學習將帶來深刻的影響。機器翻譯、智能回復、聊天機器人、會議助理等功能將在未來幾年內得到廣泛應用。數據挖掘技術、機器學習演算法都已取得了大量成果，自動化分析將成為數據分析的新階段。

數據分析 5.0 → 接下來會是什麼

我們可以將自動化理解為，人與智能機器的強強聯合，從而實現更好的成果。

與其思考「人類的哪些工作將被機器取代？」我寧願樂觀地考慮，在機器的幫助下，企業能取得哪些新成就？我們該如何在災難易發地區，通過人工智慧程序減少傷亡人數；或者如何在貧困地區建立人工智慧驅動的電子學校等。

總而言之，我對數據分析的發展充滿自信，關鍵在於我們能否積極地接受和應對其帶來的影響

E. 大數據的起源

大數據概念最初起源於美國。

是由思科、威睿、甲骨文、IBM等公司倡議發展起來的。大約從2009年始，大數據成為互聯網信息技術行業的流行詞彙。大數據是一個不斷演變的概念，當前的興起，是因為從IT技術到數據積累，都已經發生重大變化。當今世界，大數據無處不在，它影響到了我們的工作、生活和學習，並將繼續施加更大的影響。

趨勢

隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智慧等相關技術，可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。

未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。與此同時，基於數據這個基礎平台，也將建立起跨領域的數據共享平台，之後，數據共享將擴展到企業層面，並且成為未來產業的核心一環。

F. 大數據未來的發展趨勢

趨勢一：數據的資源化

什麼是數據的資源化，它指的是大數據成為企業和社會關版注的重要戰略資權源，並且已經成為大家爭奪的焦點。因此，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與雲計算的深度結合

大數據離不開雲處理，雲處理能夠為大數據提供彈性可拓展的基礎設備，是產生大數據的平台之一。自從2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。

另外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

趨勢三：數據科學和數據聯盟的成立

未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。

與此同時，基於數據這個基礎平台，也將建立起跨領域的數據共享平台，之後，數據共享將擴展到企業層面，並且成為未來產業的核心一環。

關於大數據未來的發展趨勢的內容，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

G. 大數據時代發展歷程是什麼

可按照時間點劃分大數據的發展歷程。

H. 中國大數據六大技術變遷記

中國大數據六大技術變遷記_數據分析師考試

集「Hadoop中國雲計算大會」與「CSDN大數據技術大會」精華之大成， 歷屆的中國大數據技術大會（BDTC） 已發展成為國內事實上的行業頂尖技術盛會。從2008年的60人Hadoop沙龍到當下的數千人技術盛宴，作為業內極具實戰價值的專業交流平台，每一屆的中國大數據技術大會都忠實地描繪了大數據領域內的技術熱點，沉澱了行業實戰經驗，見證了整個大數據生態圈技術的發展與演變。
2014年12月12-14日，由中國計算機學會（CCF）主辦，CCF大數據專家委員會協辦，中科院計算所與CSDN共同承辦的 2014中國大數據技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。大會為期三天，以推進行業應用中的大數據技術發展為主旨，擬設立「大數據基礎設施」、「大數據生態系統」、「大數據技術」、「大數據應用」、「大數據互聯網金融技術」、「智能信息處理」等多場主題論壇與行業峰會。由中國計算機學會主辦，CCF大數據專家委員會承辦，南京大學與復旦大學協辦的「2014年第二屆CCF大數據學術會議」也將同時召開，並與技術大會共享主題報告。
本次大會將邀請近100位國外大數據技術領域頂尖專家與一線實踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟體的最新進展，NoSQL/NewSQL、內存計算、流計算和圖計算技術的發展趨勢，OpenStack生態系統對於大數據計算需求的思考，以及大數據下的可視化、機器學習/深度學習、商業智能、數據分析等的最新業界應用，分享實際生產系統中的技術特色和實踐經驗。

大會召開前期，特別梳理了歷屆大會亮點以記錄中國大數據技術領域發展歷程，並立足當下生態圈現狀對即將召開的BDTC 2014進行展望：
追本溯源，悉大數據六大技術變遷
伴隨著大數據技術大會的發展，我們親歷了中國大數據技術與應用時代的到來，也見證了整個大數據生態圈技術的發展與衍變：
1. 計算資源的分布化——從網格計算到雲計算。 回顧歷屆BDTC大會，我們不難發現，自2009年，資源的組織和調度方式已逐漸從跨域分布的網格計算向本地分布的雲計算轉變。而時至今日，雲計算已成為大數據資源保障的不二平台。
2. 數據存儲變更——HDFS、NoSQL應運而生。 隨著數據格式越來越多樣化，傳統關系型存儲已然無法滿足新時代的應用程序需求，HDFS、NoSQL等新技術應運而生，並成為當下許多大型應用架構不可或缺的一環，也帶動了定製計算機/伺服器的發展，同時也成為大數據生態圈中最熱門的技術之一。
3. 計算模式改變——Hadoop計算框成主流。 為了更好和更廉價地支撐其搜索服務，Google創建了Map/Rece和GFS。而在Google論文的啟發下，原雅虎工程師Doug Cutting開創了與高性能計算模式迥異的，計算向數據靠攏的Hadoop軟體生態系統。Hadoop天生高貴，時至今日已成為Apache基金會最「Hot」的開源項目，更被公認為大數據處理的事實標准。Hadoop以低廉的成本在分布式環境下提供了海量數據的處理能力。因此，Hadoop技術研討與實踐分享也一直是歷屆中國大數據技術大會最亮眼的特色之一。
4. 流計算技術引入——滿足應用的低延遲數據處理需求。 隨著業務需求擴展，大數據逐漸走出離線批處理的范疇，Storm、Kafka等將實時性、擴展性、容錯性和靈活性發揮得淋漓盡致的流處理框架，使得舊有消息中間件技術得以重生。成為歷屆BDTC上一道亮麗的風景線。
5. 內存計算初露端倪——新貴Spark敢與老將叫板。 Spark發源於美國加州大學伯克利分校AMPLab的集群計算平台，它立足於內存計算，從多迭代批量處理出發，兼容並蓄數據倉庫、流處理和圖計算等多種計算範式，是罕見的全能選手。在短短4年，Spark已發展為Apache軟體基金會的頂級項目，擁有30個Committers，其用戶更包括IBM、Amazon、Yahoo!、Sohu、網路、阿里、騰訊等多家知名公司，還包括了Spark SQL、Spark Streaming、MLlib、GraphX等多個相關項目。毫無疑問，Spark已站穩腳跟。
6. 關系資料庫技術進化—NewSQL改寫資料庫歷史。 關系資料庫系統的研發並沒有停下腳步，在橫向擴展、高可用和高性能方面也在不斷進步。實際應用對面向聯機分析處理（OLAP）的MPP（Massively Parallel Processing）資料庫的需求最迫切，包括MPP資料庫學習和採用大數據領域的新技術，如多副本技術、列存儲技術等。而面向聯機事務處理（OLTP）的資料庫則向著高性能演進，其目標是高吞吐率、低延遲，技術發展趨勢包括全內存化、無鎖化等。
立足揚帆，看2014大數據生態圈發展
時光荏苒，轉眼間第2014中國大數據技術大會將如期舉行。在技術日新月異的當下，2014年的BDTC上又可以洞察些什麼？這里我們不妨著眼當下技術發展趨勢：
1. MapRece已成頹勢，YARN/Tez是否可以再創輝煌？ 對於Hadoop來說，2014是歡欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等眾多巨頭都加大了Hadoop方面的投入。然而對於眾多機構來說，這一年卻並不輕松：基於MapRece的實時性短板以及機構對更通用大數據處理平台的需求，Hadoop 2.0轉型已勢在必行。那麼，在轉型中，機構究竟會遭遇什麼樣的挑戰？各個機構如何才能更好地利用YARN所帶來的新特性？Hadoop未來的發展又會有什麼重大變化？為此，BDTC 2014特邀請了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成員Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等國際頂尖Hadoop專家，我們不妨當面探討。
2. 時過境遷，Storm、Kafka等流計算框架前途未卜。 如果說MapRece的緩慢給眾多流計算框架帶來了可乘之機，那麼當Hadoop生態圈組件越發成熟，Spark更加易用，迎接這些流計算框架的又是什麼？這里我們不妨根據BDTC 2014近百場的實踐分享進行一個側面的了解，亦或是與專家們當面交流。
3. Spark，是顛覆還是補充？ 與Hadoop生態圈的兼容，讓Spark的發展日新月異。然而根據近日Sort Benchmark公布的排序結果，在海量（100TB）離線數據排序上，對比上屆冠軍Hadoop，Spark以不到十分之一的機器，只使用三分之一的時間就完成了同樣數據量的排序。毫無疑問，當下Spark已不止步於實時計算，目標直指通用大數據處理平台，而終止Shark，開啟Spark SQL或許已經初見端倪。那麼，當Spark愈加成熟，更加原生的支持離線計算後，開源大數據標准處理平台這個榮譽又將花落誰家？這里我們一起期待。
4. 基礎設施層，用什麼來提升我們的網路？ 時至今日，網路已成為眾多大數據處理平台的攻堅對象。比如，為了克服網路瓶頸，Spark使用新的基於Netty的網路模塊取代了原有的NIO網路模塊，從而提高了對網路帶寬的利用。那麼，在基礎設施層我們又該如何克服網路這個瓶頸？直接使用更高效的網路設備，比如Infiniband能夠帶來多少性能提升？建立一個更智能網路，通過計算的每個階段，自適應來調整拆分/合並階段中的數據傳輸要求，不僅提高了速度，也提高了利用率。在BDTC 2014上，我們可以從Infiniband/RDMA技術及應用演講，以及數場SDN實戰上吸取寶貴的經驗。
5. 數據挖掘的靈魂——機器學習。 近年來，機器學習領域的人才搶奪已進入白熱化，類似Google、IBM、微軟、網路、阿里、騰訊對機器學習領域的投入也是愈來愈高，囊括了晶元設計、系統結構（異構計算）、軟體系統、模型演算法和深度應用各個方面。大數據標志一個新時代的到來，PB數據讓人們坐擁金山，然而缺少了智能演算法，機器學習這個靈魂，價值的提取無疑變得鏡花水月。而在本屆會議上，我們同樣為大家准備了數場機器學習相關分享，靜候諸位參與。
而在技術分享之外，2014年第二屆CCF大數據學術會議也將同時召開，並與技術大會共享主題報告。屆時，我們同樣可以斬獲許多來自學術領域的最新科研成果。

以上是小編為大家分享的關於中國大數據六大技術變遷記的相關內容，更多信息可以關注環球青藤分享更多干貨