大數據分析圈

A. 求大數據分析技術

列一大堆沒用的。。。
大數據分析技術兩種理解： 一種是 大數據處理涉及到技術， 一種專是 數據挖掘技術
第一種就屬是數據處理流程： 也就是 數據採集 數據清洗 數據存儲 數據挖掘 結果可視化展示 技術。
第二種就是具體的數據挖掘演算法： 主要是 回歸 分類 關聯規則 聚類 異常檢測 這幾種
看你需要哪種？

B. 大數據分析平台哪個好

"大數據分析平台哪個好"？很多小夥伴想要在第一時間找到自己需要的軟體，答知蠢那麼今天小編就為各位帶來了"大數據分析平台哪個好"，希望能夠幫助大家，一起來看看吧！
1. 高速交通大數據分析平台 軟體類型：電腦軟體
軟體介紹：
【基本介紹】CDA大數據分析圈描述AI與大數據領航者，前沿資源與技術干貨應有盡有。標題：CDA大數據分析圈-大數據、數據分析、人工智慧、區塊鏈教育。
3. CDA大數據分析圈 軟體類型：安卓APP
軟體介紹：
CDA大數據分析圈是由經管之家「CDA數據分析師」團隊所研發的面向大數據領域的分享學習型平台，涵蓋行業資訊、技術干貨、大數據應用及CDA原創等各類文章，用戶也可以在猛冊平台上找到大數據領域的活動、會議、優
4. 農業大數據平台 軟體類型：安卓APP
軟體介紹：
農業大數據平台app下載，一款專為靖邊縣小夥伴們打造出的農業互聯網大數據信息綜合服務平台，來農業大數據平台app客戶可清陪以網上咨詢專家，更有大量農業新聞資訊，供需信息等，熱烈歡迎下載。
5. 星立方大數據平台 軟體類型：安卓APP
軟體介紹：
星立方app是一款互聯網大數據分數查詢剖析手機客戶端運用，星立方數據管理平台手機軟體中登陸就可以快速搜索考試成績，而且星立方app便捷教師網上閱卷點評這些，星立方合理提升教師教

C. 大數據分析技術生態圈一覽

大數據分析技術生態圈一覽
大數據領域讓人暈頭轉向。為了幫助你，我們決定製作這份廠商圖標和目錄。它並不是全面列出了這個領域的每家廠商，而是深入探討大數據分析技術領域。我們希望這份資料新穎、實用。
這是一款面向Hadoop的自助服務式、無資料庫模式的大數據分析應用軟體。
Platfora
這是一款大數據發現和分析平台。
Qlikview
這是一款引導分析平台。
Sisense
這是一款商業智能軟體，專門處理復雜數據的商業智能解決方案。
Sqream
這是一款快速、可擴展的大數據分析SQL資料庫。
Splunk
這是一款運維智能平台。
Sumologic
這是一項安全的、專門定製的、基於雲的機器數據分析服務。
Actian
這是一款大數據分析平台。
亞馬遜Redshift
這是一項PB級雲端數據倉庫服務。
CitusData
可擴展PostgreSQL。
Exasol
這是一種用於分析數據的大規模並行處理(MPP)內存資料庫。
惠普Vertica
這是一款SQL on Hadoop大數據分析平台。
Mammothdb
這是一款與SQL兼容的MPP分析資料庫。
微軟SQL Server
這是一款關系資料庫管理系統。
甲骨文Exadata
這是一款計算和存儲綜合系統，針對甲骨文資料庫軟體進行了優化。
SAP HANA
這是一款內存計算平台。
Snowflake
這是一款雲數據倉庫。
Teradata
這是企業級大數據分析和服務。
數據探查
Apache Drill
這是一款無資料庫模式的SQL查詢引擎，面向Hadoop、NoSQL和雲存儲。
Cloudera Impala
這是一款開源大規模並行處理SQL查詢引擎。
谷歌BigQuery
這是一項全面託管的NoOps數據分析服務。
Presto
這是一款面向大數據的分布式SQL查詢引擎。
Spark
這是一款用於處理大數據的快速通用引擎。
平台/基礎設施
亞馬遜網路服務(AWS)
提供雲計算服務
思科雲
提供基礎設施即服務
Heroku
為雲端應用程序提供平台即服務
Infochimps
提供雲服務的大數據解決方案
微軟Azure
這是一款企業級雲計算平台。
Rackspace
託管專業服務和雲計算服務
Softlayer(IBM)
提供雲基礎設施即服務
數據基礎設施
Cask
這是一款面向Hadoop解決方案的開源應用程序平台。
Cloudera
提供基於Hadoop的軟體、支持和服務。
Hortonworks
管理HDP――這是一款開源企業Apache Hadoop數據平台。
MAPR
這是面向大數據部署環境的Apache Hadoop技術。
垂直領域應用/數據挖掘
Alpine Data Labs
這是一種高級分析平台，可處理Apache Hadoop和大數據。
R
這是一種免費軟體環境，可處理統計計算和圖形。
Rapidminer
這是一款開源預測分析平台
SAS
這是一款軟體套件，可以挖掘、改動、管理和檢索來自眾多數據源的數據。
提取、轉換和載入(ETL)
IBM Datastage
使用一種高性能並行框架，整合多個系統上的數據。
Informatica
這是一款企業數據整合和管理軟體。
Kettle-Pentaho Data Integration
提供了強大的提取、轉換和載入(ETL)功能。
微軟SSIS
這是一款用於構建企業級數據整合和數據轉換解決方案的平台。
甲骨文Data Integrator
這是一款全面的數據整合平台。
SAP
NetWeaver為整合來自各個數據源的數據提供了靈活方式。
Talend
提供了開源整合軟體產品
Cassandra
這是鍵值資料庫和列式資料庫的混合解決方案。
CouchBase
這是一款開源分布式NoSQL文檔型資料庫。
Databricks
這是使用Spark的基於雲的大數據處理解決方案。
Datastax
為企業版的Cassandra資料庫提供商業支持。
IBM DB2
這是一款可擴展的企業資料庫伺服器軟體。
MemSQL
這是一款分布式內存資料庫。
MongoDB
這是一款跨平台的文檔型資料庫。
MySQL
這是一款流行的開源資料庫。
甲骨文
這是一款企業資料庫軟體套件。
PostgresSQL
這是一款對象關系資料庫管理系統。
Riak
這是一款分布式NoSQL資料庫。
Splice Machine
這是一款Hadoop關系資料庫管理系統。
VoltDB
這是一款內存NewSQL資料庫。
Actuate
這是一款嵌入式分析和報表解決方案。
BiBoard
這是一款互動式商業智能儀錶板和可視化工具。
Chart.IO
這是面向資料庫的企業級分析工具。
IBM Cognos
這是一款商業智能和績效管理軟體。
D3.JS
這是一種使用HTML、SVG和CSS可視化顯示數據的JavaScript庫。
Highcharts
這是面向互聯網的互動式JavaScirpt圖表。
Logi Analytics
這是自助服務式、基於Web的商業智能和分析應用軟體。
微軟Power BI
這是互動式數據探查、可視化和演示工具。
Microstrategy
這是一款企業商業智能和分析軟體。
甲骨文Hyperion
這是企業績效管理和商業智能系統。
Pentaho
這是大數據整合和分析解決方案。
SAP Business Objects
這是商業智能解決方案。
Tableau
這是專注於商業智能的互動式數據可視化產品系列。
Tibco Jaspersoft
這是商業智能套件。

D. 大數據時代,大數據概念,大數據分析是什麼意思

大數據概念就是指大數據，指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據時代是IT行業術語。最早提出「大數據」時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」

大數據分析是指對規模巨大的數據進行分析。大數據可以概括為4個V， 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、價值（Value）。

(4)大數據分析圈擴展閱讀：

大數據分析的實例應用：

數據分析成為巴西世界盃賽事外的精彩看點。伴隨賽場上球員的奮力角逐，大數據也在全力演繹世界盃背後的分析故事。

一向以嚴謹著稱的德國隊引入專門處理大數據的足球解決方案，進行比賽數據分析，優化球隊配置，並通過分析對手數據找到比賽的「制敵」方式；谷歌、微軟、Opta等通過大數據分析預測賽果...... 大數據，不僅成為賽場上的「第12人」，也在某種程度上充當了世界盃的"預言帝"。

大數據分析邂逅世界盃，是大數據時代的必然發生，而大數據分析也將在未來改變我們生活的方方面面。

E. 大數據分析的未來圖景 萬物皆可分析

大數據分析的未來圖景：萬物皆可分析

在雲計算、大數據之後物聯網成為新晉熱點話題，物聯網改變了我們看待世界的方法，改變了我們做業務的方法，甚至改變我們的生活方式。但是即使是最精通技術的企業也承認，從物聯網生成的數據中獲取價值非常困難，需要大量技巧。

Teradata認為的數據分析未來圖景是「萬物皆可分析」，所以在本次大會上也發布了Teradata Listener，其是一款具有實時「聽取」功能的自助式智能軟體，對客戶而言可跟蹤他們世界各地存放的多條感測器和物聯網數據流，並將該數據傳送到分析生態系統中的多個平台，使得我們能夠在數據源的發生地就可以進行分析。

Teradata天睿公司大中華區首席執行官辛兒倫

同時Teradata也強調，在建設數據分析系統中，要避免數據孤島。由於單一技術無法解決全面數據分析的需求，必須簡化各種技術難度，創建統一生態數據管理系統。簡化是非常重要的需求，任何數據分析系統都要使得架構簡化。所以，在本次大會上，Teradata還更新了其統一數據架構（UDA），推出了在單一機箱內整合Teradata數據倉庫、Teradata Aster Analytics和Hadoop系統，使用戶能夠在更小的數據中心空間內發揮整個分析生態系統管理的優勢。

在本次大會上，ZDNet采訪了Teradata天睿公司大中華區首席執行官辛兒倫，以下為訪談實錄：

ZDNet：2015年的大會以Breaking Big為主題，請問其寓意是什麼？這是否代表Teradata對於大數據認知在概念上的顛覆？

辛兒倫：Breaking Big這個主題，我理解最核心的應該是「打破束縛和限制」，不管是企業還是個人應該探索和追求「創新、差異化、勇氣、重大進展和卓越表現。」

第一，在大數據時代，企業必須堅持創新和追求創新，不管技術上尋找突破，還是從業務流程、商業模式、組織架構、企業的分析文化上，都可進行積極的創新。例如，去年我們剛剛收購的Think Big公司，幫助我們增強對Hadoop的咨詢、顧問和實施能力， 以及與其它分析平台的交互能力。在本次大會上，我們剛宣布Think Big成為業內首個能夠為Hadoop數據湖（數據資源池）提供全面的管理服務，這將幫助企業非常便利地創建數據分析的生態系統，確保數據質量、可靠性、實時性以及日常的運營任務。

我強調一下，我們的Think Big公司支持主要的Apache? Hadoop?，包括Cloudera、Hortonworks、MapR、Spark、Kafka、NoSQL以及其他開源技術，非常全面。而且更重要的是，我這里也是首次宣布，我們的Think Big業務已經確定引入到大中華區，目前已經在完成人員的配備。

第二，我覺得企業中在數據分析上的務實和積極進取的文化非常重要。其中，這個主題中提到「勇氣」是企業實現大數據項目成功的重要保證。很多的企業，曾經面對大數據項目的投資猶豫、徘徊，其實這就需要更大的勇氣支持。Teradata以及廣大客戶的反饋已經看到，我們是時候積極行動了。我們也理解，文化上的轉變可能比技術和分析流程上的轉變歷時更久，但是我們一直強調，大數據從小做起，相信你也能很快看到大數據的價值，看到大數據分析在商業變革中帶來的不可替代的驅動力。

ZDNet：每年的全球用戶大會，Teradata都會發布業界注目的新產品。今年發布的產品中，您認為哪些是最具亮點的？

辛兒倫：今年，我們在大數據技術、開源技術的支持以及咨詢服務上都有重要的更新和發布。這里，我特別強調一下，本次大會上最亮點的應該是針對物聯網的感測器數據的分析能力，甚至實現了萬物皆可分析（Analytics of Everything）。Teradata Listener技術能夠通過整合開源技術，幫助客戶分析物聯網中不計其數的數據源，簡化數據分析的難度。Teradata QueryGrid技術能在統一數據架構上快速有效地進行主題分析或查詢多元化的大數據，以取得業務需要的信息。

同時，Teradata Aster新的版本能直接交互Hadoop數據資源池或數據倉庫平台，幫助客戶進行實時的數據探索，例如高效營銷中進行客戶路徑和消費模式分析，等等.

ZDNet：最近，Gartner發布了2016年可能影響企業的十大技術趨勢，其中萬物信息化以及物聯網等技術入選。在目前發展出現這些趨勢之時，您怎們看技術的發展趨勢？如果時間放長遠一點，據您觀察未來5年甚至10年，那些技術可能會成為影響企業比較顯著的技術趨勢？

辛兒倫：我們看到這些十大技術趨勢，這些都是戰略性大趨勢，其中包括Information of Everything（萬物信息化）以及物聯網架構和平台。其實，我認為這不僅是趨勢，而是新的IT現實。

關於萬物信息化，可以理解為我們身處在一個數字網格之中，這個環境會產生、使用其產生的無計其數的信息。在這些數據和信息的海洋中，不管是企業還是個人，必須學會判斷和識別哪些信息能夠帶來戰略性的價值，掌握如何訪問這些不同的數據源，並通過各種分析方法和演算法找出其中的業務價值。

其實，這些預測也是真實IT現實的寫照。實現萬物皆聯網或者信息化，最主要之一靠感測器技術。在我們目前生活的時代，感測器技術結合大規模並行處理能力，使我們能夠測量並整體分析幾乎所有現象。先進的儀器使我們能夠跟蹤萬物的變化，例如天氣變化模式、汽車駕駛習慣、乃至快餐店冰箱的溫度、醫院里（或家裡）病人的生命體征。將這些數據採集至資料庫，並運用廣泛的統計、分析及可視化工具對這些數據進行細致的分析。

正是由於這些感測器，我們的生活、工作中產生了新的數據源。例如，通過射頻識別讀取器，我們能夠進行零售庫存跟蹤與控制、醫療測試采樣跟蹤、預防欺詐行為等；通過GPS定位跟蹤器，能夠進行車隊管理和交通運輸和貨運管理；通過數據採集感測器，我們就能在製造業、環境保護、交通運輸系統中採集到實時的數據用於分析。

例如，西門子公司就通過部署Teradata技術提升其製造流程及產品質量。西門子首次實現了整合來自感測器、製造流程、機器生成數據，以及各種源系統的數據。西門子技術領域商業分析及監測總監Michael May博士對此說：「現在，我們可以更快、更有效地獲得數據中的價值。把大數據轉換為智能數據，我們將能夠優化產品質量，為客戶提供更加優質的服務。」

關於物聯網我提兩點：《2014－2015年中國物聯網發展年度報告》中指出，物聯網技術與雲計算、大數據、移動互聯網等新興一代信息技術的協同創新進一步深化，與農業、製造業、服務業等傳統產業，與新能源、新材料、先進製造業等新興產業的「雙向融合」不斷加強。物聯網加快向經濟、社會、生活眾多領域滲透，不斷催生新變革、新應用和新業態。這些都是非常可喜的發展成績。現在快速發展的物聯網，以及未來的「萬物皆聯網」，任何人、事、物之間將能實現連接，這將帶來溝通模式的變化、業務模式的變化，甚至發展模式的變化。

但是，我們更要強調，要想讓物聯網發揮出價值，企業必須對感測器數據進行整合和分析，並把分析結果利用到生產流程中來，而由大數據驅動的物聯網才是有價值的物聯。

由於物聯網數據都是非結構化數據，這種JSON數據的分析都非常復雜。在今年5月，我們就宣布首次在同一資料庫實現三大JSON數據格式的原生存儲，這將為客戶提供更強的查詢性能。通過對Teradata資料庫升級，能夠幫助業務用戶充分利用網頁應用、感測器和物聯網機器生成JSON數據的商業價值。而Teradata資料庫具備分析JSON數據、操作數據和歷史業務數據的強大功能，而這一頂級查詢性能使其成為物聯網分析樞紐。此外，本次大會上發布的Teradata Listener是一款自助式智能軟體，具有實時「聽取」功能，可協助客戶跟蹤他們世界各地存放的多條感測器和物聯網數據流，並將該數據傳送到分析生態系統中的多個平台，這些都是巨大的技術突破。

針對未來更長時間的趨勢預測，如果從更加宏觀的角度看，我們先梳理一下整個IT 行業的發展，然後就能看到未來的發展趨勢。過去從70或者80年代開始，對整個IT產業的關注，不管是產業給予的專注，還是IT供應商的專注，或是企業對於成立自己的IT部門的專注，更多的是一種小I大T的專注，什麼叫小I大T？小的專注於Information能夠體現的價值，而大量專注於運用用和研發Technology方面的議題。這就是小I大T，更多地認為IT就只是Technology這個課題，但是我們要注意IT不僅僅是Technology，IT是兩個課題，是Information和Technology。

隨著技術的發展，現在的技術能夠承載的Information的價值度是迅速提升的，，未來更多的機會會更多在Information這個主題，延伸出來未來10年、20年、30年的前景。特別是未來這30年，這個時代將會是大I小T的時代，更多的主軸是在Information主題。，

ZDNet：從Teradata以及服務客戶的經驗看，如果讓您建議一個企業要建立起自己的大數據戰略，應該要去准備什麼戰略？

辛兒倫：首先建議客戶要先問自身幾個問題，那就是為什麼要建立自己的大數據戰略？是什麼業務發展方向需要數據驅動型戰略？。大數據戰略要針對具體的業務場景，有了明確的業務場景目標，建設駕馭大數據的能力才有針對性性和使命感。

例如某企業要提升他的客戶價值貢獻度，希望建立起大數據戰略，能夠通過與客戶的多種互動渠道的信息中獲得洞察例如通過360度的統一客戶視圖等，在正確的時間、正確的地點、適當的方式，提供這位客戶需要的服務或產品。又如金融機構通過建立起針對風險控制的大數據戰略，能夠發現和判斷自己企業面對的風險以及危害程度，如擔保圈分析等。如電信運營商可以通過建立針對客戶服務品質優化的大數據戰略，發現即將離網的用戶等，提高自己的業務支持並挽留用戶。

但是，在這里我要強調一點，數據驅動型戰略不等同於數據收集戰略，目前企業應盡量避免「存而不用」，建立大數據能力絕不是收集數據、存數據。

根據我們協助全球許多客戶建設高效的大數據戰略呢？，我想分享幾個成功的關鍵：

第一，全面。企業需要採取宏觀視角來識別構成高效體系的諸多不同要素，將不同的數據集（比如內部和外部數據流，或來自企業不同職能部門的信息）鏈接起來，通過關聯分析，找出富有意義的信息。

第二，以業務為核心。針對大數據的戰略規劃應當以業務為導向，大數據戰略並非科學項目，而是必須以滿足實際的業務需求為核心。

第三，靈活。必須考慮到未來的使用情形，大數據戰略和大數據分析方法論應避免常見的限制，比如過多地依賴於單一技術或單一平台模式或過於制式的流程等；由於數據驅動的轉型不會一步到位或立刻傳遍整個企業，因此在制定戰略時，必須認識到價值是逐步創造出來的，並將整個演變過程考慮在內。

第四，有條理且可擴展。要確保大數據戰略能夠得到全面貫徹，而不是導致另一大群數據孤島的產生。

第五，數據分析、科學決策。形成以分析為導向的思維方式，並培養真正的數據驅動文化。

以上是小編為大家分享的關於大數據分析的未來圖景 萬物皆可分析的相關內容，更多信息可以關注環球青藤分享更多干貨

F. 大數據分析是什麼，怎麼分析的呢

朋友剛打電話說想吃日料，你打開手機某團APP就會顯示有日料團購推薦，剛在某信上說要去日本玩，就在盆友圈看到了機票廣告。你是否有過疑惑，為什麼我的手機APP如此了解我？難道是我的日常生活習慣大數據被分析了嗎？
大數據是什麼？
大數據不僅僅是大量的數據，而且是來自不同來源，存在不同類型，代表不同含義的海量數據。大數據應該動態變化，不斷增加，而且能夠通過研究分析發現規律產生價值。
大數據可以幫助我們根據對歷史情況的分析，發現事物的發展變化規律，可以有助於更好的提高生產效率，預防意外發生，促進營業銷售，使我們的工作和生活變得更加高效輕松便利。

當然APP不會竊取你的數據，是你的行為數據讓某團和某信意識到了你的需求，才有了以下推薦。
當你注冊一個APP賬號的時候，需要輸入電話，姓名，性別，所在地等基礎數據，更進一步的數據是你的消費記錄，發過的紅包，日常用語習慣，打車記錄，外賣訂單記錄等等，這些數據會變成你的事實標簽，成為你行為數據很重要的一部分。

上邊提到的大數據分析不僅僅是收集龐大的數據，更是建立模型，分析數據資料，並得出一系列結論的系統過程。從雜亂的數據中分析出你的興趣愛好，進而構建全面的用戶畫像。

舉個例子來說，當你打開一篇標簽為雪地靴的文章時，你的行為可能是專門點開，也可能是無意中點開，這個時候就需要更多的行為來判斷這篇文章對你的吸引力了。
這是一個非常初級的內容標簽權重演算法：
興趣標簽（雪地靴）權重 = 行為權重 x 訪問時長 x 衰減因子
行為權重：什麼都不幹1分，評論+0.5，點贊+0.5，轉發+2，收藏+1
時長權重：10S以內權重為0.5，10S－60S為1，60S以上為2
衰減因子：0-3天內權重為1，3-7天權重為0.85，7-15天權重為0.7，15-30天權重為0.5，30天以上權重為0.1
行為權重對應你是否有評論、點贊、轉發、收藏等操作，不同操作有不同的數值，累加成行為權重。停留時間越長，時間權重也越高。最後，短期行為也無法代表長期興趣，單次閱讀行為的權重會隨著時間流逝不斷衰減。於是，你每次打開雪地靴類的內容都會生成一個興趣權重，根據型渣函數公式得到一個興趣標簽值，數值越高，你對雪地靴就越感興趣。

當你各個方面的偏好被計算完成之後，這些偏好就會變成特徵向量，再通過計算特徵向量找出與你相似的人並分類。再通過訓練模型和測試准確度，最終，你的某信，某寶和某團等APP就會得到一個相對於較全面你的用戶畫像，上邊標注了你被分析之後的行為事實標簽。根據這個用戶畫像，廣告主就可以根據這個找到他們想要的消費者了。

之後，一個住在黑龍江漠河的有過雪地靴消費記錄的未婚女青年在即將刷到廣告位的那一瞬間，廣告平台會發起競價請求，最後價高的廣告將出現在你的眼前。
需要說明的是，某寶某信和某團等採集的行為數據不僅只對應你的賬號，更與你的手機唯一識別碼綁定在一起，這意味著，你就算不注冊不登錄，你的行為數據一樣會被採集。同時，廣告平台也可以根據你的手機識別碼在其他 App 上為你投放廣告，這樣你刷某音的時候也能看到某寶的雪地靴廣告了。

不過大家不要緊張隱私泄露問題，根據國家《個人信息安全規范》，商業廣告平台卜蠢悄的所有標簽都應該避免精檔空確定位到個人，以保護你的隱私安全 。

G. 一文看懂大數據的技術生態圈

一文看懂大數據的技術生態圈

大數據本身是個很寬泛的概念，Hadoop生態圈（或者泛生態圈）基本上都是為了處理超過單機尺度的數據處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。你可以用湯鍋直接當碗吃飯喝湯，你可以用小刀或者刨子去皮。但是每個工具有自己的特性，雖然奇怪的組合也能工作，但是未必是最佳選擇。

大數據，首先你要能存的下大數據。傳統的文件系統是單機的，不能橫跨不同的機器。HDFS（Hadoop Distributed FileSystem）的設計本質上是為了大量的數據能橫跨成百上千台機器，但是你看到的是一個文件系統而不是很多文件系統。比如你說我要獲取/hdfs/tmp/file1的數據，你引用的是一個文件路徑，但是實際的數據存放在很多不同的機器上。你作為用戶，不需要知道這些，就好比在單機上你不關心文件分散在什麼磁軌什麼扇區一樣。HDFS為你管理這些數據。存的下數據之後，你就開始考慮怎麼處理數據。雖然HDFS可以為你整體管理不同機器上的數據，但是這些數據太大了。一台機器讀取成T上P的數據（很大的數據哦，比如整個東京熱有史以來所有高清電影的大小甚至更大），一台機器慢慢跑也許需要好幾天甚至好幾周。對於很多公司來說，單機處理是不可忍受的，比如微博要更新24小時熱博，它必須在24小時之內跑完這些處理。那麼我如果要用很多台機器處理，我就面臨了如何分配工作，如果一台機器掛了如何重新啟動相應的任務，機器之間如何互相通信交換數據以完成復雜的計算等等。這就是MapRece / Tez / Spark的功能。MapRece是第一代計算引擎，Tez和Spark是第二代。MapRece的設計，採用了很簡化的計算模型，只有Map和Rece兩個計算過程（中間用Shuffle串聯），用這個模型，已經可以處理大數據領域很大一部分問題了。那什麼是Map什麼是Rece？考慮如果你要統計一個巨大的文本文件存儲在類似HDFS上，你想要知道這個文本里各個詞的出現頻率。你啟動了一個MapRece程序。Map階段，幾百台機器同時讀取這個文件的各個部分，分別把各自讀到的部分分別統計出詞頻，產生類似（hello, 12100次），（world，15214次）等等這樣的Pair（我這里把Map和Combine放在一起說以便簡化）；這幾百台機器各自都產生了如上的集合，然後又有幾百台機器啟動Rece處理。Recer機器A將從Mapper機器收到所有以A開頭的統計結果，機器B將收到B開頭的詞彙統計結果（當然實際上不會真的以字母開頭做依據，而是用函數產生Hash值以避免數據串化。因為類似X開頭的詞肯定比其他要少得多，而你不希望數據處理各個機器的工作量相差懸殊）。然後這些Recer將再次匯總，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每個Recer都如上處理，你就得到了整個文件的詞頻結果。這看似是個很簡單的模型，但很多演算法都可以用這個模型描述了。Map＋Rece的簡單模型很黃很暴力，雖然好用，但是很笨重。第二代的Tez和Spark除了內存Cache之類的新feature，本質上來說，是讓Map/Rece模型更通用，讓Map和Rece之間的界限更模糊，數據交換更靈活，更少的磁碟讀寫，以便更方便地描述復雜演算法，取得更高的吞吐量。有了MapRece，Tez和Spark之後，程序員發現，MapRece的程序寫起來真麻煩。他們希望簡化這個過程。這就好比你有了匯編語言，雖然你幾乎什麼都能幹了，但是你還是覺得繁瑣。你希望有個更高層更抽象的語言層來描述演算法和數據處理流程。於是就有了Pig和Hive。Pig是接近腳本方式去描述MapRece，Hive則用的是SQL。它們把腳本和SQL語言翻譯成MapRece程序，丟給計算引擎去計算，而你就從繁瑣的MapRece程序中解脫出來，用更簡單更直觀的語言去寫程序了。有了Hive之後，人們發現SQL對比Java有巨大的優勢。一個是它太容易寫了。剛才詞頻的東西，用SQL描述就只有一兩行，MapRece寫起來大約要幾十上百行。而更重要的是，非計算機背景的用戶終於感受到了愛：我也會寫SQL！於是數據分析人員終於從乞求工程師幫忙的窘境解脫出來，工程師也從寫奇怪的一次性的處理程序中解脫出來。大家都開心了。Hive逐漸成長成了大數據倉庫的核心組件。甚至很多公司的流水線作業集完全是用SQL描述，因為易寫易改，一看就懂，容易維護。自從數據分析人員開始用Hive分析數據之後，它們發現，Hive在MapRece上跑，真雞巴慢！流水線作業集也許沒啥關系，比如24小時更新的推薦，反正24小時內跑完就算了。但是數據分析，人們總是希望能跑更快一些。比如我希望看過去一個小時內多少人在充氣娃娃頁面駐足，分別停留了多久，對於一個巨型網站海量數據下，這個處理過程也許要花幾十分鍾甚至很多小時。而這個分析也許只是你萬里長征的第一步，你還要看多少人瀏覽了跳蛋多少人看了拉赫曼尼諾夫的CD，以便跟老闆匯報，我們的用戶是猥瑣男悶騷女更多還是文藝青年／少女更多。你無法忍受等待的折磨，只能跟帥帥的工程師蟈蟈說，快，快，再快一點！於是Impala，Presto，Drill誕生了（當然還有無數非著名的交互SQL引擎，就不一一列舉了）。三個系統的核心理念是，MapRece引擎太慢，因為它太通用，太強壯，太保守，我們SQL需要更輕量，更激進地獲取資源，更專門地對SQL做優化，而且不需要那麼多容錯性保證（因為系統出錯了大不了重新啟動任務，如果整個處理時間更短的話，比如幾分鍾之內）。這些系統讓用戶更快速地處理SQL任務，犧牲了通用性穩定性等特性。如果說MapRece是大砍刀，砍啥都不怕，那上面三個就是剔骨刀，靈巧鋒利，但是不能搞太大太硬的東西。這些系統，說實話，一直沒有達到人們期望的流行度。因為這時候又兩個異類被造出來了。他們是Hive on Tez / Spark和SparkSQL。它們的設計理念是，MapRece慢，但是如果我用新一代通用計算引擎Tez或者Spark來跑SQL，那我就能跑的更快。而且用戶不需要維護兩套系統。這就好比如果你廚房小，人又懶，對吃的精細程度要求有限，那你可以買個電飯煲，能蒸能煲能燒，省了好多廚具。上面的介紹，基本就是一個數據倉庫的構架了。底層HDFS，上面跑MapRece／Tez／Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。這解決了中低速數據處理的要求。那如果我要更高速的處理呢？如果我是一個類似微博的公司，我希望顯示不是24小時熱博，我想看一個不斷變化的熱播榜，更新延遲在一分鍾之內，上面的手段都將無法勝任。於是又一種計算模型被開發出來，這就是Streaming（流）計算。Storm是最流行的流計算平台。流計算的思路是，如果要達到更實時的更新，我何不在數據流進來的時候就處理了？比如還是詞頻統計的例子，我的數據流是一個一個的詞，我就讓他們一邊流過我就一邊開始統計了。流計算很牛逼，基本無延遲，但是它的短處是，不靈活，你想要統計的東西必須預先知道，畢竟數據流過就沒了，你沒算的東西就無法補算了。因此它是個很好的東西，但是無法替代上面數據倉庫和批處理系統。還有一個有些獨立的模塊是KV Store，比如Cassandra，HBase，MongoDB以及很多很多很多很多其他的（多到無法想像）。所以KV Store就是說，我有一堆鍵值，我能很快速滴獲取與這個Key綁定的數據。比如我用身份證號，能取到你的身份數據。這個動作用MapRece也能完成，但是很可能要掃描整個數據集。而KV Store專用來處理這個操作，所有存和取都專門為此優化了。從幾個P的數據中查找一個身份證號，也許只要零點幾秒。這讓大數據公司的一些專門操作被大大優化了。比如我網頁上有個根據訂單號查找訂單內容的頁面，而整個網站的訂單數量無法單機資料庫存儲，我就會考慮用KV Store來存。KV Store的理念是，基本無法處理復雜的計算，大多沒法JOIN，也許沒法聚合，沒有強一致性保證（不同數據分布在不同機器上，你每次讀取也許會讀到不同的結果，也無法處理類似銀行轉賬那樣的強一致性要求的操作）。但是丫就是快。極快。每個不同的KV Store設計都有不同取捨，有些更快，有些容量更高，有些可以支持更復雜的操作。必有一款適合你。除此之外，還有一些更特製的系統／組件，比如Mahout是分布式機器學習庫，Protobuf是數據交換的編碼和庫，ZooKeeper是高一致性的分布存取協同系統，等等。有了這么多亂七八糟的工具，都在同一個集群上運轉，大家需要互相尊重有序工作。所以另外一個重要組件是，調度系統。現在最流行的是Yarn。你可以把他看作中央管理，好比你媽在廚房監工，哎，你妹妹切菜切完了，你可以把刀拿去殺雞了。只要大家都服從你媽分配，那大家都能愉快滴燒菜。你可以認為，大數據生態圈就是一個廚房工具生態圈。為了做不同的菜，中國菜，日本菜，法國菜，你需要各種不同的工具。而且客人的需求正在復雜化，你的廚具不斷被發明，也沒有一個萬用的廚具可以處理所有情況，因此它會變的越來越復雜。

以上是小編為大家分享的關於一文看懂大數據的技術生態圈的相關內容，更多信息可以關注環球青藤分享更多干貨

H. 大數據分析的具體內容有哪些

隨著互聯網的不斷發展，大數據技術在各個領域都有不同程度的應用
1、採集
大數據的採集是指利用多個資料庫來接收發自客戶端(Web、App或者感測器形式等)的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
2、導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3、統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4、挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測(Predict)的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。