數據不均衡如何處理hdfs

1. 「大數據」時代下如何處理數據

現在科技發達有許多能把復雜的東西用一個小工具就能做好，科技的進步我們也要進步，要適應社會的發展，跟著時代走，學會先進的工具，就會簡化我們的生活，為了更方便的處理方法，你還在等什麼呢？

在工作當中經常遇到數據統計，在以前計算和整理數據需要很長的時間，浪費時間就算了，還可能把數據整理錯了，錯誤的數據交上去的話，會給你所在公司造成損失的，這種錯誤是經常出現的，不但費時費力，好吃力不討好的工作。

當然了，現在科技這么發達，就有了許許多多的電子產品出現，它們可以幫助你解決難題。比如大數據如何處理吧，大數據就是因為數據太多，太復雜，所以計算和整理起來有些困難。

不要擔心他的麻煩，因為我們有Excel表格。這個表格包含很多東西，大數據通過一定的方法，幾分鍾就可以求出你幾天來的成果，而且它是比較可靠准確的。

節省了寶貴的時間，這樣公司也不會擔心數據有誤了。學好Excel很重要，現在大學生都會學計算機應用基礎，在這本書中你會學會表格怎麼做，word怎麼做等。讓你從零基礎學起，你也可以選擇在家自學，在網上找一些製作表格的方法及其理論。

處理數據應用適當的方法，你就可以輕輕鬆鬆的整理資料。不要認為這很簡單，他也有難處的，沒有老師教的情況下，光看書是不行的，因為有些理論你是看不懂的。

2. hadoop如何做到數據時

越來越多的企業開始使用Hadoop來對大數據進行處理分析，但Hadoop集群的整體性能卻取決於CPU、內存、網路以及存儲之間的性能平衡。而在這篇文章中，我們將探討如何為Hadoop集群構建高性能網路，這是對大數據進行處理分析的關鍵所在。

關於Hadoop

「大數據」是鬆散的數據集合，海量數據的不斷增長迫使企業需要通過一種新的方式去管理。大數據是結構化或非結構化的多種數據類型的大集合。而 Hadoop則是Apache發布的軟體架構，用以分析PB級的非結構化數據，並將其轉換成其他應用程序可管理處理的形式。Hadoop使得對大數據處理成為可能，並能夠幫助企業可從客戶數據之中發掘新的商機。如果能夠進行實時處理或者接近實時處理，那麼其將為許多行業的用戶提供強大的優勢。

Hadoop是基於谷歌的MapRece和分布式文件系統原理而專門設計的，其可在通用的網路和伺服器硬體上進行部署，並使之成為計算集群。

Hadoop模型

Hadoop的工作原理是將一個非常大的數據集切割成一個較小的單元，以能夠被查詢處理。同一個節點的計算資源用於並行查詢處理。當任務處理結束後，其處理結果將被匯總並向用戶報告，或者通過業務分析應用程序處理以進行進一步分析或儀表盤顯示。

為了最大限度地減少處理時間，在此並行架構中，Hadoop「moves jobs to data」，而非像傳統模式那樣「moving data to jobs」。這就意味著，一旦數據存儲在分布式系統之中，在實時搜索、查詢或數據挖掘等操作時，如訪問本地數據，在數據處理過程中，各節點之間將只有一個本地查詢結果，這樣可降低運營開支。

Hadoop的最大特點在於其內置的並行處理和線性擴展能力，提供對大型數據集查詢並生成結果。在結構上，Hadoop主要有兩個部分：

Hadoop分布式文件系統(HDFS)將數據文件切割成數據塊，並將其存儲在多個節點之內，以提供容錯性和高性能。除了大量的多個節點的聚合I/O，性能通常取決於數據塊的大小——如128MB。而傳統的Linux系統下的較為典型的數據塊大小可能是4KB。

MapRece引擎通過JobTracker節點接受來自客戶端的分析工作，採用「分而治之」的方式來將一個較大的任務分解成多個較小的任務，然後分配給各個TaskTrack節點，並採用主站/從站的分布方式(具體如下圖所示)：

Hadoop系統有三個主要的功能節點：客戶機、主機和從機。客戶機將數據文件注入到系統之中，從系統中檢索結果，以及通過系統的主機節點提交分析工作等。主機節點有兩個基本作用：管理分布式文件系統中各節點以及從機節點的數據存儲，以及管理Map/Rece從機節點的任務跟蹤分配和任務處理。數據存儲和分析處理的實際性能取決於運行數據節點和任務跟蹤器的從機節點性能，而這些從機節點則由各自的主機節點負責溝通和控制。從節點通常有多個數據塊，並在作業期間被分配處理多個任務。

部署實施Hadoop

各個節點硬體的主要要求是市縣計算、內存、網路以及存儲等四個資源的平衡。目前常用的並被譽為「最佳」的解決方案是採用相對較低成本的舊有硬體，部署足夠多的伺服器以應對任何可能的故障，並部署一個完整機架的系統。

Hadoop模式要求伺服器與SAN或者NAS進行直接連接存儲(DAS)。採用DAS主要有三個原因，在標准化配置的集群中，節點的縮放數以千計，隨著存儲系統的成本、低延遲性以及存儲容量需求不斷提高，簡單配置和部署個主要的考慮因素。隨著極具成本效益的1TB磁碟的普及，可使大型集群的TB級數據存儲在DAS之上。這解決了傳統方法利用SAN進行部署極其昂貴的困境，如此多的存儲將使得Hadoop和數據存儲出現一個令人望而卻步的起始成本。有相當大一部分用戶的Hadoop部署構建都是採用大容量的DAS伺服器，其中數據節點大約1-2TB，名稱控制節點大約在1-5TB之間，具體如下圖所示：

來源：Brad Hedlund, DELL公司

對於大多數的Hadoop部署來說，基礎設施的其他影響因素可能還取決於配件，如伺服器內置的千兆乙太網卡或千兆乙太網交換機。上一代的CPU和內存等硬體的選擇，可根據符合成本模型的需求，採用匹配數據傳輸速率要求的千兆乙太網介面來構建低成本的解決方案。採用萬兆乙太網來部署Hadoop也是相當不錯的選擇。

萬兆乙太網對Hadoop集群的作用

千兆乙太網的性能是制約Hadoop系統整體性能的一個主要因素。使用較大的數據塊大小，例如，如果一個節點發生故障(甚至更糟，整個機架宕機)，那麼整個集群就需要對TB級的數據進行恢復，這就有可能會超過千兆乙太網所能提供的網路帶寬，進而使得整個集群性能下降。在擁有成千上萬個節點的大型集群中，當運行某些需要數據節點之間需要進行中間結果再分配的工作負載時，在系統正常運行過程中，某個千兆乙太網設備可能會遭遇網路擁堵。

每一個Hadoop數據節點的目標都必須實現CPU、內存、存儲和網路資源的平衡。如果四者之中的任意一個性能相對較差的話，那麼系統的潛在處理能力都有可能遭遇瓶頸。添加更多的CPU和內存組建，將影響存儲和網路的平衡，如何使Hadoop集群節點在處理數據時更有效率，減少結果，並在Hadoop集群內添加更多的HDFS存儲節點。

幸運的是，影響CPU和內存發展的摩爾定律，同樣也正影響著存儲技術(TB級容量的磁碟)和乙太網技術(從千兆向萬兆甚至更高)的發展。預先升級系統組件(如多核處理器、每節點5-20TB容量的磁碟，64-128GB內存)，萬兆乙太網卡和交換機等網路組件是重新平衡資源最合理的選擇。萬兆乙太網將在Hadoop集群證明其價值，高水平的網路利用率將帶來效益更高的帶寬。下圖展示了Hadoop集群與萬兆乙太網的連接：

許多企業級數據中心已經遷移到10GbE網路，以實現伺服器整合和伺服器虛擬化。隨著越來越多企業開始部署Hadoop，他們發現他們完全不必要大批量部署1U的機架伺服器，而是部署更少，但性能更高的伺服器，以方便擴展每個數據節點所能運行的任務數量。很多企業選擇部署2U或4U的伺服器(如戴爾 PowerEdge C2100)，每個節點大約12-16個核心以及24TB存儲容量。在這種環境下的合理選擇是充分利用已經部署的10GbE設備和Hadoop集群中的 10GbE網卡。

在日常的IT環境中構建一個簡單的Hadoop集群。可以肯定的是，盡管有很多細節需要微調，但其基礎是非常簡單的。構建一個計算、存儲和網路資源平衡的系統，對項目的成功至關重要。對於擁有密集節點的Hadoop集群而言，萬兆乙太網能夠為計算和存儲資源擴展提供與之相匹配的能力，且不會導致系統整體性能下降。

3. Hadoop常見問題解答

Hadoop常見問題解答
（1）Hadoop適不適用於電子政務？為什麼？
電子政務是利用互聯網技術實現政府組織結構和工作流程的重組優化，建成一個精簡、高效、廉潔、公平的政府運作信息服務平台。因此電子政務肯定會產生相關的大量數據以及相應的計算需求，而這兩種需求涉及的數據和計算達到一定規模時傳統的系統架構將不能滿足，就需要藉助海量數據處理平台，例如Hadoop技術，因此可以利用Hadoop技術來構建電子政務雲平台。

總結一下，任何系統沒有絕對的適合和不適合，只有當需求出現時才可以決定，在一個非常小的電子政務系統上如果沒有打數據處理以及計算分析需求時就不需要hadoop這樣的技術，而實際上，商用的電子政務平台往往涉及到大規模的數據和大量的計算分析處理需求，因此就需要Hadoop這樣的技術來解決。（2）hadoop對於實時在線處理有優勢嗎？
直接使用hadoop進行實時處理時沒有優勢的，因為Hadoop主要解決的是海量批處理作業計算問題，但是可以使用基於Hadoop的分布式NOSQL系統HBase系統以及相關實時處理系統：
1. 基於Hadoop的HBase可以做到實時處理以及相關需求的實時計算，主要解決海量<key,value>相關查詢計算等需求。
2. 可以考慮Spark計算，Spark是基於共現內存RDD的系統，比Hadoop更快，時候迭代式計算，例如數據挖掘，機器學習演算法等。
3. 還有Storm，Storm是一個免費開源、分布式、高容錯的實時計算系統，Storm經常用於在實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。
4. 考慮S4， S4是Yahoo!在2010年10月開源的一套通用、分布式、可擴展、部分容錯、具備可插拔功能的平台。這套平台主要是為了方便開發者開發處理流式數據（continuous unbounded streams of data）的應用。
你可以依據實際的需求來選擇合適的系統。
（3）Hadoop存儲海量數據沒有問題，但是如何能夠做到海量數據的實時檢索？
1,可以結合開源的搜索引擎Apache Lucene，Solr 或ElasticSearch
2,海量數據的實時檢索可以考慮HBase，建議可以使用hadoop將數據構建成以查詢key為鍵的數據集，然後將<key, value>集合寫入Hbase表中，Hbase會自動以key為鍵進行索引，在數十億甚至以上的級別下，查詢key的value響應時間也估計再10毫秒內。
如果檢索條件是多個組合的情況下，可以適當的設計多個hbase表格，這樣的檢索也是很快的，同時Hbase也是支持二級索引。在符合條件下查詢，Hbase也是支持MapRece的，如果對響應時間要求不高的情況下，可以考慮將hive和Hbase系統結合來使用。
如果數據量不是很大的情況下也可以考慮支持類似SQL的NOSLQ系統。
（4）能不能給點hadoop的學習方法以及學習規劃，hadoop系統有點龐大，感覺無從學起?
首先搞清楚什麼是hadoop以及hadoop可以用來做什麼？
然後，可以從最經典的詞頻統計程序開始，初步了解MapRece的基本思路和處理數據的方式。
接著，就可以正式學習hadoop的基本原理，包括HDFS和MapRece，先從整體，宏觀核心原理看，先別看源碼級別。
進一步，就可以深入HDFS和MapRece和模塊細節，這個時候可以結合源碼深入理解，以及實現機制。
最後就是需要實戰了，可以結合自己的項目或者相關需求來完成一些hadoop相關應用。
（5） 大的文件拆分成很多小的文件後，怎樣用Hadoop進行高效的處理這些小文件？以及怎樣讓各個節點盡可能的負載均衡？
1. 怎樣用Hadoop進行高效的處理這些小文件？
你這個問題提的很好，hadoop在處理大規模數據時是很高效的，但是處理大量的小文件時就會因為系統資源開銷過大而導致效率較低，針對這樣的問題，可以將小文件打包為大文件，例如使用SequcenFile文件格式，例如以文件簽名為key，文件內容本身為value寫成SequcenFile文件的一條記錄，這樣多個小文件就可以通過SequcenFile文件格式變為一個大文件，之前的每個小文件都會映射為SequcenFile文件的一條記錄。
2. 怎樣讓各個節點盡可能的負載均衡？
在hadoop集群中負載均衡是非常關鍵的，這種情況的導致往往是因為用戶的數據分布的並不均衡，而計算資源槽位數確實均衡分布在每個節點，這樣在作業運行時非本地任務會有大量的數據傳輸，從而導致集群負載不均衡，因此解決不均衡的要點就是將用戶的數據分布均衡，可以使用hadoop內置的balancer腳本命令。
對於因為資源調度導致的不均衡則需要考慮具體的調度演算法和作業分配機制。
(6)c/c++ 程序員如何入門Hadoop到深入了解，並在Linux伺服器上布置運用，有沒有方向性的指導?
針對C/C++用戶，Hadoop提供了hadoop streaming介面和pipes介面，hadoop streaming介面以標准輸入和標准輸出作為用戶程序和hadoop框架交互的中間件，pipes這是專門針對C/C++語言的介面，以socket作為同學中介。
從使用上建議從streaming入手，pipes相比streaming問題比較多，而且pipes調試不容易。
(7)現在企業中使用Hadoop版本主要是1.x還是2.x？
目前網路，騰訊，阿里為主的互聯網公司都是以hadoop 1.X為基準版本的，當然每個公司都會進行自定義的二次開發以滿足不同的集群需求。
2.X在網路內部還沒有正式使用，還是以1.X為主，不過網路針對1.X的問題開發了HCE系統（Hadoop C++ Expand系統）
補充，Hadoop2.x在其他公司應用的很多，比如京東
(8)以後想從事大數據方面工作，演算法要掌握到什麼程度，演算法佔主要部分嗎?
首先，如果要從事大數據相關領域的話，hadoop是作為工具來使用的，首先需要掌握使用方法。可以不用深入到hadoop源碼級別細節。
然後就是對演算法的理解，往往需要設計到數據挖掘演算法的分布式實現，而演算法本身你還是需要理解的，例如常用的k-means聚類等。
(9)現在spark，storm越來越火，谷歌也發布了Cloud Dataflow，是不是Hadoop以後主要應該學習hdfs和yarn，而且以後Hadoop程序員的主要做的就是把這些東西打包，只提供介面讓普通的程序員也能使用，就像Cloudera和Google一樣?
這位同學，你多慮了，hadoop和spark, strom是解決不同的問題，不存在哪個好那個壞，要學習Hadoop還是以主流的hadoop-1.X為版本，2.X最主要的就是多了yarn框架，很好理解的。
如果你是hadoop本身研發建議都看，如果你是hadoop應用相關研發，看主流的1.X就行，我的書《Hadoop核心技術》是以主流的1.X為版本講解的，有興趣可以看看。
(10)小白問一句，大數據處理都是伺服器上安裝相關軟體嗎，對程序有什麼影響呢，集群、大數據是屬於運維的工作內容還是攻城獅的呢?
傳統的程序只能運行在單機上，而大數據處理這往往使用分布式編程框架編寫，例如hadoop maprece，只能運行在hadoop集群平台上。
運維的責任：保證集群，機器的穩定性和可靠性
hadoop系統本身研發：提高Hadoop集群的性能，增加新功能。
大數據應用：把hadoop作為工具，去實現海量數據處理或者相關需求。
(11)學習hadoop該怎麼入手呢？應該做一些什麼樣的項目呢？
可以參考我上面的幾個回答，可以從最簡單詞頻統計程序入手，然後學習理解HDFS和MapRece的基本原理和核心機制，如果僅僅把Hadoop作為一個工具來使用的話這樣就可以了，最重要的就是實戰了，可以嘗試使用Hadoop處理一些數據，例如做日誌分析，數據統計，排序，倒排索引等典型應用。
(12)100個以上hadoop節點，一般怎麼開發，運維？任務很多的情況下任務資源怎麼分配，任務執行順序是定時腳本還是別的什麼方式控制?
1. 首先大數據的應用開發和hadoop集群的規模是沒有關系，你指的是集群的搭建和運維嗎，對於商用的hadoop系統來說涉及到很多東西，建議參考《hadoop核心技術》實戰篇 「第10章Hadoop集群搭建 」 章節。
2. 任務的分配是有hadoop的調度器的調度策略決定的，默認為FIFO調度，商業集群一般使用多隊列多用戶調度器，可以參考參考《hadoop核心技術》高級篇 「第9章Hadoop作業調度系統」 章節。
3. 任務的執行順序是有用戶控制的，你自然可以定時啟動，也可以手動啟動。
(13)基於Hadoop做開發，是否必須會使用Java，使用其他開發語言是否無法更好的融入整個Hadoop的開發體系?
基於Hadoop做開發可以使用任何語言，因為hadoop提高了streaming編程框架和pipes編程介面，streaming框架下用戶可以使用任何可以操作標准輸入輸出的計算機語言來開發hadoop應用。
(14)在rece階段老是卡在最後階段很長時間，在網上查的說是有可能是數據傾斜，我想問這個有啥解決方法嗎?
1,你這個就是數據傾斜啊 好多數據都集中在一個rece里 其他rece里分配的數據比較少 默認情況下決定哪些數據分配到哪個rece是由rece個數和partiiton分區決定的 默認是對key進行hash運算 一般情況下用mapreuce傾斜很少 除非你用的HIVE
2,rece分為3個子階段：shuffle、sort和rece，如果rece整個過程耗時較長，建議先看一下監控界面是卡在哪個階段，如果是卡在shuffle階段往往是網路阻塞問題，還有就是某rece數據量太大，也就是你所說的數據傾斜問題，這種問題往往因為某個key的value太多，解決方法是：第一，默認的partiiton可能不適合你的需求，你可以自定義partiiton；第二就是在map端截斷，盡量讓達到每個rece端的數據分布均勻。
(15)非大數據的項目能否用hadoop?
非大數據項目是否可以用Hadoop的關鍵問題在於是否有海量數據的存儲，計算，以及分析挖掘等需求，如果現有系統已經很好滿足當前需求那麼就沒有必要使用Hadoop，沒有必要使用並不意味這不能使用Hadoop，很多傳統系統能做的Hadoop也是可以做的，例如使用HDFS來代替LINUX NFS，使用MapRece來代替單伺服器的統計分析相關任務，使用Hbase代替Mysql等關系資料庫等，在數據量不大的情況下通常Hadoop集群肯定比傳統系統消耗更多的資源。
(16)hadoop maprece 和第三方資源管理調度系統如何集成？
Hadoop的調度器設計的一個原則就是可插拔式調度器框架，因此是很容易和第三方調度器集成的，例如公平調度器FairScheler和容量調度器CapacityScheler，並配置mapred-site.xml的maprece.jobtracker.taskscheler以及調度器本身的配置參數，例如公平調度器控制參數則需要編輯fair- scheler.xml進行配置，具體可以參考我的新書《Hadoop核心技術》實戰篇第十章節10.11的集群搭建實例中的10.10.9 配置第三方調度器，同時可以進一步深入學習第9章 Hadoop作業調度系統，在這一章中會詳細介紹各種第三方調度器以及使用配置方法。