大數據下的數據分析平台架構

A. 大數據分析架構需權衡四要素

大數據分析架構需權衡四要素

通過提供對更廣泛信息集的訪問，大數據就可以為數據分析師和業務用戶產生分析見解提供一臂之力。成功的大數據分析應用程序會揭示某些趨勢和模式,以此來為決策制定提供更好的服務，並會指出新的創收機會和讓企業領先於他們的商業競爭對手的方法。但首先，企業往往需要增強他們現有的IT基礎設施建設以及數據管理流程以支持大數據架構的規模和復雜性。

Hadoop系統和NoSQL資料庫已經成為管理大數據環境的重要工具。不過，在很多情況下，企業利用他們現有的數據倉庫設施，或是一個新老混合的技術來對大數據流入他們的系統進行管理。

無論一個公司部署什麼類型的大數據技術棧，有一些共通的因素必須加以考量,以保證為大數據分析工作提供一個有效的框架。在開始一個大數據項目之前，去審視項目所要承擔的新數據需求的更大圖景顯得尤為關鍵。下面來讓我們檢視四個需要加以考量的因素。

數據准確性

數據質量問題對於BI和數據管理專業人士來說一定不陌生。很多BI和分析團隊努力保證數據的有效性並說服業務使用人員去信任信息資產的准確性和可靠性。作為個性化分析庫而得以廣泛使用的電子表格或電子報表軟體可以對數據中信任缺乏的問題加以彌補：在Excel中存儲和操作分析數據的功能為支持自助分析能力創造了環境，但可能不會激發其他用戶對結果的自信心。數據倉庫與數據集成和數據質量工具一起，能夠通過為管理BI和分析數據提供標准化流程來幫助樹立信心。但是，由於不斷增加的數據容量和更廣泛多樣的數據類型，特別是當涉及結構化和非結構化數據混合時，就會對一個大數據的實施增加難度系數。建立評估數據質量標准以及對它們進行升級以處理那些更大、更多樣數據集，對於大數據實施的成功和分析框架的使用是至關重要的。

存儲適用

數據倉儲的一個核心要求是處理和存儲大數據集的能力。但並不是所有數據倉庫在這方面都滿足要求。一些是針對復雜查詢處理進行優化，而其他的則並非如此。並且在許多大數據應用程序中，相較於事務系統，由於添加了非結構化數據還有數據的創建和收集增速迅猛，用Hadoop和NoSQL技術增強數據倉庫就成為必要。對於一個希望獲取並分析大數據的組織來說，光有存儲容量是不夠的;而重要的部分在於將數據置於何處才是最佳的，這樣數據就可以轉化為有用信息並為數據科學家和其他用戶所利用。

查詢性能

大數據分析依賴於及時處理和查詢復雜數據的能力。一個很好地例子就是：一家公司開發了一個數據倉庫用來維護從能源使用計收集到的數據。在產品評估過程中，某供應商的系統有能力在15分鍾內處理七百萬條記錄，而另一家則在相同時間內可以處理最高三十萬條記錄。能否識別正確的基礎設施來支持快速的數據可用性和高性能查詢就意味著成功還是失敗。

穩定性

隨著許多組織中數據量和數據種類的增長，大數據平台的建立需要有對未來的考量。必須提前考慮和求證正在進行評估的大數據技術是否能夠進行擴展，以達到不斷向前發展的需求所要求的級別。這便超出了存儲容量的范疇，將性能也包含了進來，對那些從社交網路，感測器，系統日誌文件以及其他非事務源獲取數據作為其業務數據擴展的公司來說尤為如此。

分析多樣而復雜的數據集需要一個健壯且富有彈性的大數據架構。在籌劃項目時通過對這四個因素進行考量，組織可以確定他們是否已經擁有能夠處理如此嚴苛大數據的分析程序亦或是需要額外的軟硬體以及數據管理流程來達到他們的大數據目標。

以上是小編為大家分享的關於大數據分析架構需權衡四要素的相關內容，更多信息可以關注環球青藤分享更多干貨

B. 如何架構大數據系統 hadoop

Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平台。本文主要介紹一種基於Hadoop平台的多維分析和數據挖掘平台架構。作為一家互聯網數據分析公司，我們在海量數據的分析領域那真是被「逼上樑山」。多年來在嚴苛的業務需求和數據壓力下，我們幾乎嘗試了所有可能的大數據分析方法，最終落地於Hadoop平台之上。
1. 大數據分析大分類
Hadoop平台對業務的針對性較強，為了讓你明確它是否符合你的業務，現粗略地從幾個角度將大數據分析的業務需求分類，針對不同的具體需求，應採用不同的數據分析架構。
按照數據分析的實時性，分為實時數據分析和離線數據分析兩種。
實時數據分析一般用於金融、移動和互聯網B2C等產品，往往要求在數秒內返回上億行數據的分析，從而達到不影響用戶體驗的目的。要滿足這樣的需求，可以採用精心設計的傳統關系型資料庫組成並行處理集群，或者採用一些內存計算平台，或者採用HDD的架構，這些無疑都需要比較高的軟硬體成本。目前比較新的海量數據實時分析工具有EMC的Greenplum、SAP的HANA等。
對於大多數反饋時間要求不是那麼嚴苛的應用，比如離線統計分析、機器學習、搜索引擎的反向索引計算、推薦引擎的計算等，應採用離線分析的方式，通過數據採集工具將日誌數據導入專用的分析平台。但面對海量數據，傳統的ETL工具往往徹底失效，主要原因是數據格式轉換的開銷太大，在性能上無法滿足海量數據的採集需求。互聯網企業的海量數據採集工具，有Facebook開源的Scribe、LinkedIn開源的Kafka、淘寶開源的Timetunnel、Hadoop的Chukwa等，均可以滿足每秒數百MB的日誌數據採集和傳輸需求，並將這些數據上載到Hadoop中央系統上。
按照大數據的數據量，分為內存級別、BI級別、海量級別三種。
這里的內存級別指的是數據量不超過集群的內存最大值。不要小看今天內存的容量，Facebook緩存在內存的Memcached中的數據高達320TB，而目前的PC伺服器，內存也可以超過百GB。因此可以採用一些內存資料庫，將熱點數據常駐內存之中，從而取得非常快速的分析能力，非常適合實時分析業務。圖1是一種實際可行的MongoDB分析架構。

圖1 用於實時分析的MongoDB架構
MongoDB大集群目前存在一些穩定性問題，會發生周期性的寫堵塞和主從同步失效，但仍不失為一種潛力十足的可以用於高速數據分析的NoSQL。
此外，目前大多數服務廠商都已經推出了帶4GB以上SSD的解決方案，利用內存+SSD，也可以輕易達到內存分析的性能。隨著SSD的發展，內存數據分析必然能得到更加廣泛的應用。
BI級別指的是那些對於內存來說太大的數據量，但一般可以將其放入傳統的BI產品和專門設計的BI資料庫之中進行分析。目前主流的BI產品都有支持TB級以上的數據分析方案。種類繁多，就不具體列舉了。
海量級別指的是對於資料庫和BI產品已經完全失效或者成本過高的數據量。海量數據級別的優秀企業級產品也有很多，但基於軟硬體的成本原因，目前大多數互聯網企業採用Hadoop的HDFS分布式文件系統來存儲數據，並使用MapRece進行分析。本文稍後將主要介紹Hadoop上基於MapRece的一個多維數據分析平台。
數據分析的演算法復雜度
根據不同的業務需求，數據分析的演算法也差異巨大，而數據分析的演算法復雜度和架構是緊密關聯的。舉個例子，Redis是一個性能非常高的內存Key-Value NoSQL，它支持List和Set、SortedSet等簡單集合，如果你的數據分析需求簡單地通過排序，鏈表就可以解決，同時總的數據量不大於內存（准確地說是內存加上虛擬內存再除以2），那麼無疑使用Redis會達到非常驚人的分析性能。
還有很多易並行問題（Embarrassingly Parallel），計算可以分解成完全獨立的部分，或者很簡單地就能改造出分布式演算法，比如大規模臉部識別、圖形渲染等，這樣的問題自然是使用並行處理集群比較適合。
而大多數統計分析，機器學習問題可以用MapRece演算法改寫。MapRece目前最擅長的計算領域有流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等。
2. 面對大數據OLAP大一些問題

OLAP分析需要進行大量的數據分組和表間關聯，而這些顯然不是NoSQL和傳統資料庫的強項，往往必須使用特定的針對BI優化的資料庫。比如絕大多數針對BI優化的資料庫採用了列存儲或混合存儲、壓縮、延遲載入、對存儲數據塊的預統計、分片索引等技術。

Hadoop平台上的OLAP分析，同樣存在這個問題，Facebook針對Hive開發的RCFile數據格式，就是採用了上述的一些優化技術，從而達到了較好的數據分析性能。如圖2所示。
然而，對於Hadoop平台來說，單單通過使用Hive模仿出SQL，對於數據分析來說遠遠不夠，首先Hive雖然將HiveQL翻譯MapRece的時候進行了優化，但依然效率低下。多維分析時依然要做事實表和維度表的關聯，維度一多性能必然大幅下降。其次，RCFile的行列混合存儲模式，事實上限制死了數據格式，也就是說數據格式是針對特定分析預先設計好的，一旦分析的業務模型有所改動，海量數據轉換格式的代價是極其巨大的。最後，HiveQL對OLAP業務分析人員依然是非常不友善的，維度和度量才是直接針對業務人員的分析語言。
而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
使用Hadoop進行多維分析，首先能解決上述維度難以改變的問題，利用Hadoop中數據非結構化的特徵，採集來的數據本身就是包含大量冗餘信息的。同時也可以將大量冗餘的維度信息整合到事實表中，這樣可以在冗餘維度下靈活地改變問題分析的角度。其次利用Hadoop MapRece強大的並行化處理能力，無論OLAP分析中的維度增加多少，開銷並不顯著增長。換言之，Hadoop可以支持一個巨大無比的Cube，包含了無數你想到或者想不到的維度，而且每次多維分析，都可以支持成千上百個維度，並不會顯著影響分析的性能。


而且目前OLAP存在的最大問題是：業務靈活多變，必然導致業務模型隨之經常發生變化，而業務維度和度量一旦發生變化，技術人員需要把整個Cube（多維立方體）重新定義並重新生成，業務人員只能在此Cube上進行多維分析，這樣就限制了業務人員快速改變問題分析的角度，從而使所謂的BI系統成為死板的日常報表系統。
3. 一種Hadoop多維分析平台的架構
整個架構由四大部分組成：數據採集模塊、數據冗餘模塊、維度定義模塊、並行分 析模塊。

數據採集模塊採用了Cloudera的Flume，將海量的小日誌文件進行高速傳輸和合並，並能夠確保數據的傳輸安全性。單個collector宕機之後，數據也不會丟失，並能將agent數據自動轉移到其他的colllecter處理，不會影響整個採集系統的運行。如圖5所示。

數據冗餘模塊不是必須的，但如果日誌數據中沒有足夠的維度信息，或者需要比較頻繁地增加維度，則需要定義數據冗餘模塊。通過冗餘維度定義器定義需要冗餘的維度信息和來源（資料庫、文件、內存等），並指定擴展方式，將信息寫入數據日誌中。在海量數據下，數據冗餘模塊往往成為整個系統的瓶頸，建議使用一些比較快的內存NoSQL來冗餘原始數據，並採用盡可能多的節點進行並行冗餘；或者也完全可以在Hadoop中執行批量Map，進行數據格式的轉化。

維度定義模塊是面向業務用戶的前端模塊，用戶通過可視化的定義器從數據日誌中定義維度和度量，並能自動生成一種多維分析語言，同時可以使用可視化的分析器通過GUI執行剛剛定義好的多維分析命令。
並行分析模塊接受用戶提交的多維分析命令，並將通過核心模塊將該命令解析為Map-Rece，提交給Hadoop集群之後，生成報表供報表中心展示。
核心模塊是將多維分析語言轉化為MapRece的解析器，讀取用戶定義的維度和度量，將用戶的多維分析命令翻譯成MapRece程序。核心模塊的具體邏輯如圖6所示。

圖6中根據JobConf參數進行Map和Rece類的拼裝並不復雜，難點是很多實際問題很難通過一個MapRece Job解決，必須通過多個MapRece Job組成工作流（WorkFlow），這里是最需要根據業務進行定製的部分。圖7是一個簡單的MapRece工作流的例子。

MapRece的輸出一般是統計分析的結果，數據量相較於輸入的海量數據會小很多，這樣就可以導入傳統的數據報表產品中進行展現。

C. 大數據平台系統結構有哪些

首要層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在版這里從大數據的特徵定義權理解行業對大數據的整體描繪和定性;從對大數據價值的討論來深入解析大數據的珍貴地點;觀察大數據的開展趨勢;從大數據隱私這個特別而重要的視角審視人和數據之間的持久博弈。

第二層面是技能，技能是大數據價值表現的手法和前進的基石。在這里分別從雲核算、分布式處理技能、存儲技能和感知技能的開展來說明大數據從收集、處理、存儲到構成結果的整個進程。

第三層面是實踐，實踐是大數據的最終價值表現。在這里分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展示的美好景象及即將完成的藍圖。

關於大數據平台系統結構有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

D. 大數據平台有哪些架構

01

傳統大數據架構

以上的種種架構都圍繞海量數據處理為主，Unifield架構則將機器學習和數據處理揉為一體，在流處理層新增了機器學習層。

優點：

提供了一套數據分析和機器學習結合的架構方案，解決了機器學習如何與數據平台進行結合的問題。

缺點：

實施復雜度更高，對於機器學習架構來說，從軟體包到硬體部署都和數據分析平台有著非常大的差別，因此在實施過程中的難度系數更高。

適用場景：

有著大量數據需要分析，同時對機器學習方便又有著非常大的需求或者有規劃。

大數據時代各種技術日新月異，想要保持競爭力就必須得不斷地學習。寫這些文章的目的是希望能幫到一些人了解學習大數據相關知識 。加米穀大數據，大數據人才培養機構，喜歡的同學可關注下，每天花一點時間學習，長期積累總是會有收獲的。

E. 「大數據架構」用哪種框架更為合適

個完整的大數據平台應該提供離線計算、即席查詢、實時計算、實時查詢這幾個方面的功能。
hadoop、spark、storm 無論哪一個，單獨不可能完成上面的所有功能。

hadoop+spark+hive是一個很不錯的選擇.hadoop的HDFS毋庸置疑是分布式文件系統的解決方案，解決存儲問題；hadoop maprece、hive、spark application、sparkSQL解決的是離線計算和即席查詢的問題；spark streaming解決的是實時計算問題；另外，還需要HBase或者Redis等NOSQL技術來解決實時查詢的問題。

除了這些，大數據平台中必不可少的需要任務調度系統和數據交換工具；
任務調度系統解決所有大數據平台中的任務調度與監控；數據交換工具解決其他數據源與HDFS之間的數據傳輸，比如：資料庫到HDFS、HDFS到資料庫等等。關於大數據平台的架構技術文章，可搜索"lxw的大數據田地"，裡面有很多。

F. 主流的數據分析平台構架有哪些

1、Hadoop

Hadoop 採用 Map Rece 分布式計算框架，根據 GFS開發了 HDFS 分布式文件系統，根據 Big Table 開發了 HBase數據存儲系統。Hadoop 的開源特性使其成為分布式計算系統的事實上的國際標准。Yahoo，Facebook，Amazon 以及國內的網路，阿里巴巴等眾多互聯網公司都以 Hadoop 為基礎搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基礎上進行了一些架構上的改良。Spark 與Hadoop 最大的不同點在於，Hadoop 使用硬碟來存儲數據，而Spark 使用內存來存儲數據，因此 Spark 可以提供超過 Ha?doop 100 倍的運算速度。由於內存斷電後會丟失數據，Spark不能用於處理需要長期保存的數據。

3、Storm

Storm是 Twitter 主推的分布式計算系統。它在Hadoop的基礎上提供了實時運算的特性，可以實時的處理大數據流。不同於Hadoop和Spark，Storm不進行數據的收集和存儲工作，它直接通過網路實時的接受數據並且實時的處理數據，然後直接通過網路實時的傳回結果。

4、Samza

Samza 是由 Linked In 開源的一項技術，是一個分布式流處理框架，專用於實時數據的處理，非常像Twitter的流處理系統Storm。不同的是Sam?za 基於 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系統。

Samza 非常適用於實時流數據處理的業務，如數據跟蹤、日誌服務、實時服務等應用，它能夠幫助開發者進行高速消息處理,同時還具有良好的容錯能力。

G. 如何搭建大數據分析平台

1、 搭建大數據分析平台的背景
在大數據之前，BI就已經存在很久了，簡單把大數據等同於BI，明顯是不恰當的。但兩者又是緊密關聯的，相輔相成的。BI是達成業務管理的應用工具，沒有BI，大數據就沒有了價值轉化的工具，就無法把數據的價值呈現給用戶，也就無法有效地支撐企業經營管理決策；大數據則是基礎，沒有大數據，BI就失去了存在的基礎，沒有辦法快速、實時、高效地處理數據，支撐應用。 所以，數據的價值發揮，大數據平台的建設，必然是囊括了大數據處理與BI應用分析建設的。
2、 大數據分析平台的特點
數據攝取、數據管理、ETL和數據倉庫：提供有效的數據入庫與管理數據用於管理作為一種寶貴的資源。
Hadoop系統功能：提供海量存儲的任何類型的數據，大量處理功率和處理能力幾乎是無限並行工作或任務
流計算在拉動特徵：用於流的數據、處理數據並將這些流作為單個流。
內容管理特徵：綜合生命周期管理和文檔內容。
數據治理綜合：安全、治理和合規解決方案來保護數據。
3、 怎樣去搭建大數據分析平台
大數據分析處理平台就是整合當前主流的各種具有不同側重點的大數據處理分析框架和工具，實現對數據的挖掘和分析，一個大數據分析平台涉及到的組件眾多，如何將其有機地結合起來，完成海量數據的挖掘是一項復雜的工作。我們可以利用億信一站式數據分析平台（ABI），可以快速構建大數據分析平台，該平台集合了從數據源接入到ETL和數據倉庫進行數據整合，再到數據分析，全部在一個平台上完成。
億信一站式數據分析平台（ABI）囊括了企業全部所需的大數據分析工具。ABI可以對各類業務進行前瞻性預測分析，並為企業各層次用戶提供統一的決策分析支持，提升數據共享與流轉能力。

H. 大數據分析系統平台方案有哪些

目前常用的大數據解決方案包括以下幾類
一、Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。HPCC主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

三、Storm。Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。 Storm支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來
四、Apache Drill。為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

I. 大數據平台架構有哪些

一、事務使用：其實指的是數據收集，你經過什麼樣的方法收集到數據。互聯網收集數據相對簡略，經過網頁、App就能夠收集到數據，比方許多銀行現在都有自己的App。

更深層次的還能收集到用戶的行為數據，能夠切分出來許多維度，做很細的剖析。但是對於涉及到線下的行業，數據收集就需要藉助各類的事務體系去完成。

二、數據集成：指的其實是ETL，指的是用戶從數據源抽取出所需的數據，經過數據清洗,終究依照預先定義好的數據倉庫模型，將數據載入到數據倉庫中去。而這兒的Kettle僅僅ETL的其中一種。

三、數據存儲：指的便是數據倉庫的建設了，簡略來說能夠分為事務數據層(DW)、指標層、維度層、匯總層(DWA)。

四、數據同享層：表明在數據倉庫與事務體系間提供數據同享服務。Web Service和Web API，代表的是一種數據間的銜接方法，還有一些其他銜接方法，能夠依照自己的情況來確定。

五、數據剖析層：剖析函數就相對比較容易理解了，便是各種數學函數，比方K均值剖析、聚類、RMF模型等等。

六、數據展現：結果以什麼樣的方式呈現，其實便是數據可視化。這兒建議用敏捷BI，和傳統BI不同的是，它能經過簡略的拖拽就生成報表，學習成本較低。

七、數據訪問：這個就比較簡略了，看你是經過什麼樣的方法去查看這些數據，圖中示例的是因為B/S架構，終究的可視化結果是經過瀏覽器訪問的。

關於大數據平台架構有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

J. 大數據平台由哪5個部分組成簡述各個部分內容的特點

一、數據採集

ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

二、數據存取

關系資料庫、NOSQL、SQL等。

三、基礎架構

雲存儲、分布式文件存儲等。

四、數據處理

自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，Natural Language Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。

五、統計分析

假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

六、數據挖掘

分類 (Classification)、估計(Estimation)、預測(Prediction)、相關性分組或關聯規則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)。

七、模型預測

預測模型、機器學習、建模模擬。

八、結果呈現

雲計算、標簽雲、關系圖等。