㈠ hadoop如何做到數據時
越來越多的企業開始使用Hadoop來對大數據進行處理分析，但Hadoop集群的整體性能卻取決於CPU、內存、網路以及存儲之間的性能平衡。而在這篇文章中，我們將探討如何為Hadoop集群構建高性能網路，這是對大數據進行處理分析的關鍵所在。
關於Hadoop
「大數據」是鬆散的數據集合，海量數據的不斷增長迫使企業需要通過一種新的方式去管理。大數據是結構化或非結構化的多種數據類型的大集合。而 Hadoop則是Apache發布的軟體架構，用以分析PB級的非結構化數據，並將其轉換成其他應用程序可管理處理的形式。Hadoop使得對大數據處理成為可能，並能夠幫助企業可從客戶數據之中發掘新的商機。如果能夠進行實時處理或者接近實時處理，那麼其將為許多行業的用戶提供強大的優勢。
Hadoop是基於谷歌的MapRece和分布式文件系統原理而專門設計的，其可在通用的網路和伺服器硬體上進行部署，並使之成為計算集群。
Hadoop模型
Hadoop的工作原理是將一個非常大的數據集切割成一個較小的單元，以能夠被查詢處理。同一個節點的計算資源用於並行查詢處理。當任務處理結束後，其處理結果將被匯總並向用戶報告，或者通過業務分析應用程序處理以進行進一步分析或儀表盤顯示。
為了最大限度地減少處理時間，在此並行架構中，Hadoop「moves jobs to data」，而非像傳統模式那樣「moving data to jobs」。這就意味著，一旦數據存儲在分布式系統之中，在實時搜索、查詢或數據挖掘等操作時，如訪問本地數據，在數據處理過程中，各節點之間將只有一個本地查詢結果，這樣可降低運營開支。
Hadoop的最大特點在於其內置的並行處理和線性擴展能力，提供對大型數據集查詢並生成結果。在結構上，Hadoop主要有兩個部分：
Hadoop分布式文件系統(HDFS)將數據文件切割成數據塊，並將其存儲在多個節點之內，以提供容錯性和高性能。除了大量的多個節點的聚合I/O，性能通常取決於數據塊的大小——如128MB。而傳統的Linux系統下的較為典型的數據塊大小可能是4KB。
MapRece引擎通過JobTracker節點接受來自客戶端的分析工作，採用「分而治之」的方式來將一個較大的任務分解成多個較小的任務，然後分配給各個TaskTrack節點，並採用主站/從站的分布方式(具體如下圖所示)：
Hadoop系統有三個主要的功能節點：客戶機、主機和從機。客戶機將數據文件注入到系統之中，從系統中檢索結果，以及通過系統的主機節點提交分析工作等。主機節點有兩個基本作用：管理分布式文件系統中各節點以及從機節點的數據存儲，以及管理Map/Rece從機節點的任務跟蹤分配和任務處理。數據存儲和分析處理的實際性能取決於運行數據節點和任務跟蹤器的從機節點性能，而這些從機節點則由各自的主機節點負責溝通和控制。從節點通常有多個數據塊，並在作業期間被分配處理多個任務。
部署實施Hadoop
各個節點硬體的主要要求是市縣計算、內存、網路以及存儲等四個資源的平衡。目前常用的並被譽為「最佳」的解決方案是採用相對較低成本的舊有硬體，部署足夠多的伺服器以應對任何可能的故障，並部署一個完整機架的系統。
Hadoop模式要求伺服器與SAN或者NAS進行直接連接存儲(DAS)。採用DAS主要有三個原因，在標准化配置的集群中，節點的縮放數以千計，隨著存儲系統的成本、低延遲性以及存儲容量需求不斷提高，簡單配置和部署個主要的考慮因素。隨著極具成本效益的1TB磁碟的普及，可使大型集群的TB級數據存儲在DAS之上。這解決了傳統方法利用SAN進行部署極其昂貴的困境，如此多的存儲將使得Hadoop和數據存儲出現一個令人望而卻步的起始成本。有相當大一部分用戶的Hadoop部署構建都是採用大容量的DAS伺服器，其中數據節點大約1-2TB，名稱控制節點大約在1-5TB之間，具體如下圖所示：
來源：Brad Hedlund, DELL公司
對於大多數的Hadoop部署來說，基礎設施的其他影響因素可能還取決於配件，如伺服器內置的千兆乙太網卡或千兆乙太網交換機。上一代的CPU和內存等硬體的選擇，可根據符合成本模型的需求，採用匹配數據傳輸速率要求的千兆乙太網介面來構建低成本的解決方案。採用萬兆乙太網來部署Hadoop也是相當不錯的選擇。
萬兆乙太網對Hadoop集群的作用
千兆乙太網的性能是制約Hadoop系統整體性能的一個主要因素。使用較大的數據塊大小，例如，如果一個節點發生故障(甚至更糟，整個機架宕機)，那麼整個集群就需要對TB級的數據進行恢復，這就有可能會超過千兆乙太網所能提供的網路帶寬，進而使得整個集群性能下降。在擁有成千上萬個節點的大型集群中，當運行某些需要數據節點之間需要進行中間結果再分配的工作負載時，在系統正常運行過程中，某個千兆乙太網設備可能會遭遇網路擁堵。
每一個Hadoop數據節點的目標都必須實現CPU、內存、存儲和網路資源的平衡。如果四者之中的任意一個性能相對較差的話，那麼系統的潛在處理能力都有可能遭遇瓶頸。添加更多的CPU和內存組建，將影響存儲和網路的平衡，如何使Hadoop集群節點在處理數據時更有效率，減少結果，並在Hadoop集群內添加更多的HDFS存儲節點。
幸運的是，影響CPU和內存發展的摩爾定律，同樣也正影響著存儲技術(TB級容量的磁碟)和乙太網技術(從千兆向萬兆甚至更高)的發展。預先升級系統組件(如多核處理器、每節點5-20TB容量的磁碟，64-128GB內存)，萬兆乙太網卡和交換機等網路組件是重新平衡資源最合理的選擇。萬兆乙太網將在Hadoop集群證明其價值，高水平的網路利用率將帶來效益更高的帶寬。下圖展示了Hadoop集群與萬兆乙太網的連接：
許多企業級數據中心已經遷移到10GbE網路，以實現伺服器整合和伺服器虛擬化。隨著越來越多企業開始部署Hadoop，他們發現他們完全不必要大批量部署1U的機架伺服器，而是部署更少，但性能更高的伺服器，以方便擴展每個數據節點所能運行的任務數量。很多企業選擇部署2U或4U的伺服器(如戴爾 PowerEdge C2100)，每個節點大約12-16個核心以及24TB存儲容量。在這種環境下的合理選擇是充分利用已經部署的10GbE設備和Hadoop集群中的 10GbE網卡。
在日常的IT環境中構建一個簡單的Hadoop集群。可以肯定的是，盡管有很多細節需要微調，但其基礎是非常簡單的。構建一個計算、存儲和網路資源平衡的系統，對項目的成功至關重要。對於擁有密集節點的Hadoop集群而言，萬兆乙太網能夠為計算和存儲資源擴展提供與之相匹配的能力，且不會導致系統整體性能下降。
㈡ hdfs有哪些進程並說明其作用
Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬體(commodity hardware)上的分布式文件系統。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式文件系統的區別也是很明顯的。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。HDFS放寬了一部分POSIX約束，來實現流式讀取文件系統數據的目的。HDFS在最開始是作為Apache Nutch搜索引擎項目的基礎架構而開發的。HDFS是Apache Hadoop Core項目的一部分。 Hadoop分布式文件系統架構 1 NameNode（名稱節點） HDFS命名空間採用層次化（樹狀——譯者注）的結構存放文件和目錄。 2 映像和日誌 Inode和定義metadata的系統文件塊列表統稱為Image(映像).NameNode將整個命名空間映像保存在RAM中。而映像的持久化記錄則保存在NameNode的本地文件系統中，該持久化記錄被稱為Checkpoint(檢查點)。NameNode還會記錄HDFS中寫入的操作，並將其存入一個記錄文件，存放在本地文件系統中，這個記錄文件被叫做Journal(日誌)。 3 數據節點 DataNode上的每一個塊(block)副本都由兩個本地文件系統上的文件共同表示。其中一個文件包含了塊（block）本身所需包含的數據，另一個文件則記錄了該塊的元數據，包括塊所含數據大小和文件生成時間戳。數據文件的大小等於該塊（block）的真實大小，而不是像傳統的文件系統一樣，需要用額外的存儲空間湊成完整的塊。因此，如果一個塊里只需要一半的空間存儲數據，那麼就只需要在本地系統上分配半塊的存儲空間即可。 4 HDFS客戶端 用戶應用程序通過HDFS客戶端連接到HDFS文件系統，通過庫文件可導出HDFS文件系統的介面。像很多傳統的文件系統一樣，HDFS支持文件的讀、寫和刪除操作，還支持對目錄的創建和刪除操作。與傳統的文件系統不同的是，HDFS提供一個API用以暴露文件塊的位置。這個功能允許應用程序。 5 檢查點節點 HDFS中的NameNode節點，除了其主要職責是相應客戶端請求以外，還能夠有選擇地扮演一到兩個其他的角色，例如做檢查點節點或者備份節點。該角色是在節點啟動的時候特有的。 6 備份節點 HDFS的備份節點是最近在加入系統的一項特色功能。就像CheckpintNode一樣，備份節點能夠定期創建檢查點，但是不同的是，備份節點一直保存在內存中，隨著文件系統命名空間的映像更新和不斷更新，並與NameNode的狀態隨時保持同步。 7 系統更新和文件系統快照 在軟體更新的過程中，由於軟體的bug或者人為操作的失誤，文件系統損壞的幾率會隨之提升。在HDFS中創建系統快照的目的，就在於把系統升級過程中可能對數據造成的隱患降到最低。快照機制讓系統管理員將當前系統狀態持久化到文件系統中，這樣以來，如果系統升級後出現了數據丟失或者損壞，便有機會進行回滾操作，將HDFS的命名空間和存儲狀態恢復到系統快照進行的時刻。
㈢ 如何快速的學會大數據分析實戰案例深入解析
1、大數據前沿知識及hadoop入門
2、hadoop部署進階
3、大數據導入與存儲
4、Hbase理論與實戰
5、Spaer配置及使用場景
6、spark大數據分析原理
7、hadoop+spark大數據分析
1.第一階段：大數據前沿知識及hadoop入門，大數據前言知識的介紹，課程的介紹，Linux和unbuntu系統基礎，hadoop的單機和偽分布模式的安裝配置。
2.第二階段：hadoop部署進階。Hadoop集群模式搭建，hadoop分布式文件系統HDFS深入剖析。使用HDFS提供的api進行HDFS文件操作。Maprece概念及思想。
3.第三階段：大數據導入與存儲。mysql資料庫基礎知識，hive的基本語法。hive的架構及設計原理。hive部署安裝與案例。sqoop安裝及使用。sqoop組件導入到hive。
4.第四階段：Hbase理論與實戰。Hbase簡介。安裝與配置。hbase的數據存儲。項目實戰。
5.第五階段：Spaer配置及使用場景。scala基本語法。spark介紹及發展歷史，sparkstantalone模式部署。sparkRDD詳解。
6.第六階段：spark大數據分析原理。spark內核，基本定義，spark任務調度。sparkstreaming實時流計算。sparkmllib機器學習。sparksql查詢。
7.第七階段：hadoop+spark大數據分析。實戰案例深入解析。hadoop+spark的大數據分析之分類。logistic回歸與主題推薦。
㈣ 資料庫與hadoop與分布式文件系統的區別和聯系
1. 用向外擴展代替向上擴展
擴展商用關系型資料庫的代價是非常昂貴的。它們的設計更容易向上擴展。要運行一個更大
的資料庫，就需要買一個更大的機器。事實上，往往會看到伺服器廠商在市場上將其昂貴的高端機
標稱為「資料庫級的伺服器」。不過有時可能需要處理更大的數據集，卻找不到一個足夠大的機器。
更重要的是，高端的機器對於許多應用並不經濟。例如，性能4倍於標准PC的機器，其成本將大大
超過將同樣的4台PC放在一個集群中。Hadoop的設計就是為了能夠在商用PC集群上實現向外擴展
的架構。添加更多的資源，對於Hadoop集群就是增加更多的機器。一個Hadoop集群的標配是十至
數百台計算機。事實上，如果不是為了開發目的，沒有理由在單個伺服器上運行Hadoop。
2. 用鍵/值對代替關系表
關系資料庫的一個基本原則是讓數據按某種模式存放在具有關系型數據結構的表中。雖然關
系模型具有大量形式化的屬性，但是許多當前的應用所處理的數據類型並不能很好地適合這個模
型。文本、圖片和XML文件是最典型的例子。此外，大型數據集往往是非結構化或半結構化的。
Hadoop使用鍵/值對作為基本數據單元，可足夠靈活地處理較少結構化的數據類型。在hadoop中，
數據的來源可以有任何形式，但最終會轉化為鍵/值對以供處理。
3. 用函數式編程（MapRece）代替聲明式查詢（SQL ）
SQL 從根本上說是一個高級聲明式語言。查詢數據的手段是，聲明想要的查詢結果並讓資料庫引擎
判定如何獲取數據。在MapRece中，實際的數據處理步驟是由你指定的，它很類似於SQL
引擎的一個執行計劃。SQL 使用查詢語句，而MapRece則使用腳本和代碼。利用MapRece可
以用比SQL 查詢更為一般化的數據處理方式。例如，你可以建立復雜的數據統計模型，或者改變
圖像數據的格式。而SQL 就不能很好地適應這些任務。
4.
分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，
可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元
組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。
分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部
實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做備碧乎基礎存儲。
分布式文件系統(Distributed File System，DFS)
如果區域網中有多台伺服器，並且共享文件夾也分布在不同的伺服器上，這就不慧運利於管理員的管理和用戶的訪問。而使用分布式文件系統,系統管理員就可以把不同伺服器上的共享文件夾組織在一起，構建成一個目錄樹。這在用戶看來，所有共享文件僅存儲在一個地點，只需訪問一個共享的DFS根目錄，就能夠訪問分布在網路上的文件或文件夾，而不必知道這些文件的實際物理位置。
換個思路，使用mount --bind把目錄載入過來就可以了 先將數據盤掛載 mount /dev/sdb1 /mnt/d 在ftp目錄下建一個文件夾data mount --bind /mnt/d data
分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中仿悉Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
是的
Hadoop分布式文件系統(HDFS)是一種被設計成適合運行在通用硬體上的分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。它能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。要理解HDFS的內部工作原理，首先要理解什麼是分布式文件系統。
1.分布式文件系統
多台計算機聯網協同工作(有時也稱為一個集群)就像單台系統一樣解決某種問題，這樣的系統我們稱之為分布式系統。
分布式文件系統是分布式系統的一個子集，它們解決的問題就是數據存儲。換句話說，它們是橫跨在多台計算機上的存儲系統。存儲在分布式文件系統上的數據自動分布在不同的節點上。
分布式文件系統在大數據時代有著廣泛的應用前景，它們為存儲和處理來自網路和其它地方的超大規模數據提供所需的擴展能力。
2.分離元數據和數據：NameNode和DataNode
存儲到文件系統中的每個文件都有相關聯的元數據。元數據包括了文件名、i節點(inode)數、數據塊位置等，而數據則是文件的實際內容。
在傳統的文件系統里，因為文件系統不會跨越多台機器，元數據和數據存儲在同一台機器上。
為了構建一個分布式文件系統，讓客戶端在這種系統中使用簡單，並且不需要知道其他客戶端的活動，那麼元數據需要在客戶端以外維護。HDFS的設計理念是拿出一台或多台機器來保存元數據，並讓剩下的機器來保存文件的內容。
NameNode和DataNode是HDFS的兩個主要組件。其中，元數據存儲在NameNode上，而數據存儲在DataNode的集群上。NameNode不僅要管理存儲在HDFS上內容的元數據，而且要記錄一些事情，比如哪些節點是集群的一部分，某個文件有幾份副本等。它還要決定當集群的節點宕機或者數據副本丟失的時候系統需要做什麼。
存儲在HDFS上的每份數據片有多份副本(replica)保存在不同的伺服器上。在本質上，NameNode是HDFS的Master(主伺服器)，DataNode是Slave(從伺服器)。
其區別在於：
(1)
文件系統用文件將數據長期保存在外存上，數
據庫系統用資料庫統一存儲數據。
(2)
文件系統中的程序和數據有一
定的聯系，資料庫系統中的程序和數據分離。
(3)
文件系統用操作系
統中的存取方法對數據進行管理，資料庫系統用
DBMS
統一管理和控
制數據。
(4)
文件系統實現以文件為單位的數據共享，資料庫系統實
現以記錄和欄位為單位的數據共享。
其聯系在於：
(1)
均為數據組織的管理技術。
(2)
均由數據管理軟
件管理數據，程序與數據之間用存取方法進行轉換。
(3)
資料庫系統
是在文件系統的基礎上發展而來的。
文件系統和資料庫系統之間的區別：
（1） 文件系統用文件將數據長期保存在外存上，資料庫系統用資料庫統一存儲數據；
（2） 文件系統中的程序和數據有一定的聯系，資料庫系統中的程序和數據分離；
（3） 文件系統用操作系統中的存取方法對數據進行管理，資料庫系統用DBMS統一管理和控制數據；
（4） 文件系統實現以文件為單位的數據共享，資料庫系統實現以記錄和欄位為單位的數據共享。
文件系統和資料庫系統之間的聯系：
（1） 均為數據組織的管理技術；
（2） 均由數據管理軟體管理數據，程序與數據之間用存取方法進行轉換；
（3） 資料庫系統是在文件系統的基礎上發展而來的。
分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。
Hadoop是Apache軟體基金會所研發的開放源碼並行運算編程工具和分散式檔案系統，與MapRece和Google檔案系統的概念類似。
HDFS（Hadoop 分布式文件系統）是其中的一部分。