大數據架構分析方向知乎

1. 大數據分析有哪些基本方向

【導讀】跟著大數據時代的降臨，大數據剖析也應運而生。隨之而來的數據倉庫、數據安全、數據剖析、數據發掘等等環繞大數據的商業價值的使用逐漸成為職業人士爭相追捧的利潤焦點。那麼，大數據剖析有哪些根本方向呢?

1.可視化剖析

不管是對數據剖析專家仍是普通用戶，數據可視化是數據剖析東西最根本的要求。可視化能夠直觀的展現數據，讓數據自己說話，讓觀眾聽到成果。

2.數據發掘演算法

可視化是給人看的，數據發掘便是給機器看的。集群、切割、孤立點剖析還有其他的演算法讓咱們深入數據內部，發掘價值。這些演算法不只要處理大數據的量，也要處理大數據的速度。

3.猜測性剖析才能

數據發掘能夠讓剖析員更好的理解數據，而猜測性剖析能夠讓剖析員根據可視化剖析和數據發掘的成果做出一些猜測性的判別。

4.語義引擎

咱們知道由於非結構化數據的多樣性帶來了數據剖析的新的應戰，咱們需求一系列的東西去解析，提取，剖析數據。語義引擎需求被設計成能夠從「文檔」中智能提取信息。

5.數據質量和數據管理

數據質量和數據管理是一些管理方面的最佳實踐。經過標准化的流程和東西對數據進行處理能夠保證一個預先界說好的高質量的剖析成果。

6.數據存儲，數據倉庫

數據倉庫是為了便於多維剖析和多角度展現數據按特定形式進行存儲所建立起來的聯系型資料庫。在商業智能系統的設計中，數據倉庫的構建是關鍵，是商業智能系統的根底，為商業智能系統供給數據抽取、轉換和載入(ETL)，並按主題對數據進行查詢和拜訪，為聯機數據剖析和數據發掘供給數據平台。

以上就是小編今天給大家整理分享關於「大數據分析有哪些基本方向?」的相關內容希望對大家有所幫助。小編認為要想在大數據行業有所建樹，需要考取部分含金量高的數據分析師證書，這樣更有核心競爭力與競爭資本。

2. 大數據系統架構

轉： https://www.sohu.com/a/227887005_487103

數據分析工作雖然隱藏在業務系統背後，但是具有非常重要的作用，數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展，數據挖掘、數據探索等專有名詞曝光度越來越高，但是在類似於Hadoop系列的大數據分析系統大行其道之前，數據分析工作已經經歷了長足的發展，尤其是以BI系統為主的數據分析，已經有了非常成熟和穩定的技術方案和生態系統，對於BI系統來說，大概的架構圖如下：

總的來說，目前圍繞Hadoop體系的大數據架構大概有以下幾種：
傳統大數據架構

Lambda架構算是大數據系統裡面舉足輕重的架構，大多數架構基本都是Lambda架構或者基於其變種的架構。Lambda的數據通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。什麼意思呢？流式通道處理為保障實效性更多的以增量計算為主輔助參考，而批處理層則對數據進行全量運算，保障其最終的一致性，因此Lambda最外層有一個實時層和離線層合並的動作，此動作是Lambda里非常重要的一個動作
優點： 既有實時又有離線，對於數據分析場景涵蓋的非常到位。
缺點： 離線層和實時流雖然面臨的場景不相同，但是其內部處理的邏輯卻是相同，因此有大量榮譽和重復的模塊存在。
適用場景： 同時存在實時和離線需求的情況。

Kappa架構

Unifield架構

總結
以上幾種架構為目前數據處理領域使用比較多的幾種架構，當然還有非常多其他架構，不過其思想都會或多或少的類似。數據領域和機器學習領域會持續發展，以上幾種思想或許終究也會變得過時。

3. 大數據的就業方向

總的來說大數據領域有幾大細分 1 數據清洗、收集、爬蟲 //偏腳本、爬蟲能力 2 數據回分析 //偏業務答，偏SQL，偏分析能力 3 數據開發 //偏平台，偏工程化、後端開發能力 4 數據挖掘 //偏演算法，偏挖掘能力 一般來說，數據分析的門檻最低，其次數據開發和爬蟲類，門檻最高的是挖掘，當然薪酬也是相對較高的。 從應用開發入手，你可以往兩個方向房展： 1 進一步熟悉架構，提升開發能力，往數據架構師轉； 2 從應用工程化往挖掘工程師轉，需要自己多學演算法相關的知識；

4. 大數據都有哪些就業方向

主要有二個方向：
一是大數據維護、研發、架構工程師方向；所涉及的職業崗位為：大數據工程師、大數據維護工程師、大數據研發工程師、大數據架構師等；
二是大數據挖掘、分析方向；所涉及的職業崗位為：大數據分析師、大數據高級工程師、大數據分析師專家、大數據挖掘師、大數據演算法師等

5. 大數據發展幾個方向

1.在大數據採集與預處理方向。這方向最常見的問題是數據的多源和多樣性，導致數據的質量存在差異，嚴重影響到數據的可用性。針對這些問題，目前很多公司已經推出了多種數據清洗和質量控制工具(如IBM的Data Stage)。
2.在大數據存儲與管理方向。這方向最常見的挑戰是存儲規模大，存儲管理復雜，需要兼顧結構化、非結構化和半結構化的數據。分布式文件系統和分布式資料庫相關技術的發展正在有效的解決這些方面的問題。在大數據存儲和管理方向，尤其值得我們關注的是大數據索引和查詢技術、實時及流式大數據存儲與處理的發展。
3.大數據計算模式方向。由於大數據處理多樣性的需求，目前出現了多種典型的計算模式，包括大數據查詢分析計算(如Hive)、批處理計算(如Hadoop MapRece)、流式計算(如Storm)、迭代計算(如HaLoop)、圖計算(如Pregel)和內存計算(如Hana)，而這些計算模式的混合計算模式將成為滿足多樣性大數據處理和應用需求的有效手段。
4.大數據分析與挖掘方向。在數據量迅速膨脹的同時，還要進行深度的數據深度分析和挖掘，並且對自動化分析要求越來越高，越來越多的大數據數據分析工具和產品應運而生，如用於大數據挖掘的R Hadoop版、基於MapRece開發的數據挖掘演算法等等。
5.大數據可視化分析方向。通過可視化方式來幫助人們探索和解釋復雜的數據，有利於決策者挖掘數據的商業價值，進而有助於大數據的發展。很多公司也在開展相應的研究，試圖把可視化引入其不同的數據分析和展示的產品中，各種可能相關的商品也將會不斷出現。可視化工具Tabealu 的成功上市反映了大數據可視化的需求。
6.大數據安全方向。當我們在用大數據分析和數據挖掘獲取商業價值的時候，黑客很可能在向我們攻擊，收集有用的信息。因此，大數據的安全一直是企業和學術界非常關注的研究方向。通過文件訪問控制來限制呈現對數據的操作、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數據安全。
互聯網的發展是大數據發展的最大驅動力，大數據技術運用到各個領域，受到越來越多企業的熱捧，越來越多的人選擇學習大數據。

6. 大數據都有哪些就業方向

1. 數據工程方向

畢業生能夠從事基於計算機、移動互聯網、電子信息、等各種相關領域的Java大數據分布式程序開發、大數據集成平台的應用、開發等方面的工作，也可以就在IT領域從事計算機應用工作

2. 數據分析方向

缺啊，數據分析師一出手！市場導向全在手，大數據畢業生做數據分析，多理所應當的一件事情！數據分析方向還可以分得更細，數據存儲和管理、數據清理、數據挖掘、數據可視化，大數據很難的你們曉得吧，這些崗位也都是分開招人的，所以說，你就得逮著一個方向使勁兒學，不然你跟不是大數據專業的計算機畢業生之間有啥子區別哦！

3. 大數據運維方向

這個嘛！雲計算和大數據是緊密相連的嗎，一個負責搞出來數據，一個負責計算數據，還是搶手的嘞！運營工程師基本是負責服務的穩定性，維護並確保整個服務的高可用性，同時做優化。

7. 大數據都有什麼就業方向

大數據專業就業方向

大數據主要的三大就業方向：大數據系統研發類人才、大數據應用開發類人才和大數據分析類人才。在此三大方向中，各自的基礎崗位一般為大數據系統研發工程師、大數據應用開發工程師和數據分析師。
大數據專業介紹

計算機科學與技術（數據科學與大數據技術方向）主要培養大數據科學與工程領域的復合型高級技術人才。畢業生具有信息科學、管理科學和數據科學基礎知識與基本技能，掌握大數據科學與技術所需要的計算機、網路、數據編碼、數據處理等相關學科的基本理論和基本知識，熟練掌握大數據採集、存儲、處理與分析、傳輸與應用等技術，具備大數據工程項目的系統集成能力、應用軟體設計和開發能力，具有一定的大數據科學研究能力及數據科學家崗位的基本能力與素質。畢業後能從事各行業大數據分析、處理、服務、開發和利用工作，大數據系統集成與管理維護等各方面工作，亦可從事大數據研究、咨詢、教育培訓工作。
大數據（big data）是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的數據集合。大數據有五大特點，即大量（Volume）、高速（Velocity）、多樣（Variety）、低價值密度（Value）、真實性（Veracity）。它並沒有統計學的抽樣方法，只是觀察和追蹤發生的事情。

大數據的用法傾向於預測分析、用戶行為分析或某些其他高級數據分析方法的使用。
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。[1]

麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。[2]

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。[3]

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。[4]

8. 企業應該如何在大數據基礎架構方面做出選擇

企業應該如何在大數據基礎架構方面做出選擇

如果詢問十家公司他們為了運行大數據負載需要使用怎樣的基礎架構，那麼可能會得到十種不同的答案。現在這個領域當中幾乎沒有可以遵循的原則，甚至沒有可以參考的最佳實踐。

不管是從資源還是從專業性方面來說，大數據分析已經成為基礎架構領域當中真正的難題。顧名思義，大數據分析工具所針對的數據集合，規模將會非常龐大，並且需要大量的計算、存儲和網路資源來滿足性能需求。但是這些大數據工具通常是由超大規模企業開發的，這些企業並不存在普通企業需要考慮的同等級安全問題和高可用性問題，而主流IT企業還沒有深入了解這些工具，再加上大數據在投資回報率方面的不確定性，導致只有非常少的企業願意在大數據方面進行投入。

此外，即便對於曾經在Hadoop、Spark和類似產品上運行過大數據集群的部分企業來說，也會在大數據基礎架構方面遇到技術和業務方面的挑戰。

大數據帶來大問題

一家大型遠程通訊提供商正在構建一種新的數字服務，預計在今年年底正式推出，並且准備使用Hadoop來分析這種服務所產生的內容、使用情況和收入（廣告服務）數據。但是由於這種服務是全新的，因此很難分析應該使用哪種大數據基礎架構，負責這個項目的技術副總裁表示。

「對於一個還沒有推出的項目來說，我們不可能進行任何容量規劃，」他說。

確實，現在很多大數據項目仍然處於初級階段。「大多數大數據項目的性質比我們想像的還要低，」 可擴展存儲基礎架構提供商Coho Data CTO Andrew Warfield表示。

即便企業還不是十分了解大數據技術，但這並不意味著企業不應該在大數據方面投入精力。「但是運行這種技術可能面臨著很大風險，提前認識到這點非常重要，」 Warfield說，他認為企業應該提前考慮基礎架構方面的因素。

對於這家遠程通訊提供商來說，他們將會採用一種漸進的方式，使用來自於BlueData Software的軟體在商用硬體環境當中運行大數據集群，這樣就能夠從現有的存儲系統上訪問數據了。

無處不在的數據

如果數據來自於雲，那麼當然可以直接在雲中進行分析；如果數據全部位於本地，那麼底層的基礎架構也應該位於本地。但是如果數據分散在不同位置，那麼無疑會使得基礎架構更加復雜。

遠程通訊提供商的服務將會同時使用來自於雲和本地的數據。對於任何大數據解決方案來說，考慮到合規性、節省時間和網路帶寬等因素，能夠同時支持兩種數據來源都是十分重要的。「同步生產環境當中的數據是一件非常困難的事情，」這位副總裁說，「我們希望將所有的實例全都指向一個單一數據源。」

此外，雖然數據科學家想要分析的信息是可用的，但是現在還不能進行使用，因為其位於大數據計算工具無法訪問的存儲基礎架構當中，Warfield說。一種解決方案是存儲硬體使用Hadoop Distributed File System或者RESTful API這樣的協議公開這些數據。

注意延遲

對於特性類型的大數據分析來說，將數據從存儲陣列移動到計算環境所花費的時間將會對性能造成嚴重影響。但是如果不將數據跨越整個網路移動到計算環境當中，而是將應用程序移動到數據附近以降低延遲，將會怎樣呢？

將計算環境移動到數據附近並不是一種全新的概念，但是現在出現了一種前所未有的實現方式：Docker。比如Coho Data和Intel通過合作證明了這種概念的有效性，在一個大型金融服務公司當中，使用Docker格式封裝計算節點，之後在上面直接運行Hadoop負載。

在存儲陣列上直接運行Docker容器，這樣做的意義在於直接對附近的數據進行分析，而不再需要跨網路移動數據，同時利用任何可用的計算資源。「相比於其他存儲平台來說，大數據平台的CPU使用率通常會很高，」 Warfield說。「更何況如果你將快閃記憶體加入其中，那麼問題就會變成『我該如何從這種資源當中獲得更多價值？』」

直接在存儲陣列當中運行容器化應用程序是一件非常有趣的事情，但是需要提前對負載進行認真評估，以確保其能夠很好地適應當前環境，為建築行業提供文檔管理服務的Signature Tech Studios公司副總裁Bubba Hines說。這種服務基於Amazon Web Services，使用來自於Zadara Storage的存儲服務。這家公司最近開始評估新的Zadara Container Service，其中容器化應用程序運行在存儲陣列上，可以直接訪問本地磁碟。根據Hines的想法，現在有幾種可能的使用情況：在存儲陣列上運行其災難恢復軟體的容器版本來持續監控用戶數據和工作方面的變化，更改或者驗證主要存儲數據。

但是如果使用Zadara Container Service處理全部數據將沒有什麼意義。Signature Tech Studio的系統正在按照計劃執行數據轉換，並且已經實現大規模容器化了。但是「我們可能不會將所有Docker容器移動到Zadara容器服務當中，因為從體積和規模方面考慮這樣做並沒有意義，」Hines說。「我們必須尋找能夠真正從降低延遲當中獲利的負載。」

以上是小編為大家分享的關於企業應該如何在大數據基礎架構方面做出選擇的相關內容，更多信息可以關注環球青藤分享更多干貨