分布式文件系統分類

A. linux下常用的分布式文件系統有哪些

Lustre是HP，Intel，Cluster File System公司聯合美國能源部開發的Linux集群並行文件系統，名稱來源於Linux和Clusters。同時Lustre也是一個遵循GPL許可協議的開源軟體，Lustre也被稱為平行分布式文件系統，常用於大型計算機集群和超級電腦中。

Lustre的主要組建包括：元數據伺服器(Metadataservers， MDSs)、對象存儲伺服器(objectstorage servers， OSSs)和客戶端。其中MDSs提供元數據服務，MGS管理伺服器提供Lustre文件系統配置信息，OSS對象存儲伺服器expose塊設備提供數據。

Lustre文件系統針對大文件讀寫進行了優化，能夠提高性能的IO能力;在源數據獨立存儲、服務和網路失效的快速恢復、基於意圖的分布式鎖管理和系統可快速配置方面優異。

分布式存儲的關鍵技術主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴展性。從數據形態來劃分，主要有：結構化數據、非機構化數據和半結構化數據。

Linux是一套免費使用和自由傳播的類Unix操作系統，是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路操作系統。

Linux操作系統誕生於1991 年10 月5 日（這是第一次正式向外公布時間）。Linux存在著許多不同的Linux版本，但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中，比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。

B. 當前主流分布式文件系統有哪些各有什麼優缺點

目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行Linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，GPFS的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.

C. 小文件讀寫的分布式文件系統哪些

分布式文件系統、集群文件系統、並行文件系統，這三種概念很容易混淆，實際中大家也經常不加區分地使用。總是有人問起這三者的區別和聯系，其實它們之間在概念上的確有交叉重疊的地方，但是也存在顯著不同之處。 分布式文件系統 自然地，「分布式」是重點，它是相對與本地文件系統而言的。分布式文件系統通常指C/S架構或網路文件系統，用戶數據沒有直接連接到本地主機，而是存儲在遠程存儲伺服器上。NFS/CIFS是最為常見的分布式文件系統，這就是我們說的NAS系統。分布式文件系統中，存儲伺服器的節點數可能是1個(如傳統NAS)，也可以有多個(如集群NAS)。對於單個節點的分布式文件系統來說，存在單點故障和性能瓶頸問題。除了NAS以外，典型的分布式文件系統還有AFS，以及下面將要介紹的集群文件系統(如Lustre, GlusterFS, PVFS2等)。 集群文件系統 「集群」主要分為高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群文件系統是指協同多個節點提供高性能、高可用或負載均衡的文件系統，它是分布式文件系統的一個子集，消除了單點故障和性能瓶問題。對於客戶端來說集群是透明的，它看到是一個單一的全局命名空間，用戶文件訪問請求被分散到所有集群上進行處理。此外，可擴展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系統追求的目標。在元數據管理方面，可以採用專用的伺服器，也可以採用伺服器集群，或者採用完全對等分布的無專用元數據伺服器架構。目前典型的集群文件系統有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 並行文件系統 這種文件系統能夠支持並行應用，比如MPI。在並行文件系統環境下，所有客戶端可以在同一時間並發讀寫同一個文件。並發讀，大部分文件系統都能夠實現。並發寫實現起來要復雜許多，既要保證數據一致性，又要最大限度提高並行性，因此在鎖機制方面需要特別設計，如細粒度的位元組鎖。通常SAN共享文件系統都是並行文件系統，如GPFS、StorNext、GFS、BWFS，集群文件系統大多也是並行文件系統，如Lustre, Panasas等。 如何區分？ 區分這三者的重點是「分布式」、「集群」、「並行」三個前綴關鍵字。簡單來說，非本地直連的、通過網路連接的，這種為分布式文件系統；分布式文件系統中，伺服器節點由多個組成的，這種為集群文件系統；支持並行應用(如MPI)的，這種為並行文件系統。在上面所舉的例子中也可以看出，這三個概念之間具有重疊之處，比如Lustre，它既是分布式文件系統，也是集群和並行文件系統。但是，它們也有不同之處。集群文件系統是分布式文件系統，但反之則不成立，比如NAS、AFS。SAN文件系統是並行文件系統，但可能不是集群文件系統，如StorNext。GFS、HDFS之類，它們是集群文件系統，但可能不是並行文件系統。實際中，三者概念搞理清後，分析清楚文件系統的特徵，應該還是容易正確地為其劃分類別的。

D. 分布式文件系統的系統分類

(DFS) 是AFS的一個版本，作為開放軟體基金會(OSF)的分布式計算環境(DCE)中的文件系統部分。
如果文件的訪問僅限於一個用戶，那麼分布式文件系統就很容易實現。可惜的是，在許多網路環境中這種限制是不現實的，必須採取並發控制來實現文件的多用戶訪問，表現為如下幾個形式：
只讀共享 任何客戶機只能訪問文件，而不能修改它，這實現起來很簡單。
受控寫操作 採用這種方法，可有多個用戶打開一個文件，但只有一個用戶進行寫修改。而該用戶所作的修改並不一定出現在其它已打開此文件的用戶的屏幕上。
並發寫操作 這種方法允許多個用戶同時讀寫一個文件。但這需要操作系統作大量的監控工作以防止文件重寫，並保證用戶能夠看到最新信息。這種方法即使實現得很好，許多環境中的處理要求和網路通信量也可能使它變得不可接受。
NFS和AFS的區別
NFS和AFS的區別在於對並發寫操作的處理方法上。當一個客戶機向伺服器請求一個文件(或資料庫記錄)，文件被放在客戶工作站的高速緩存中，若另一個用戶也請求同一文件，則它也會被放入那個客戶工作站的高速緩存中。當兩個客戶都對文件進行修改時，從技術上而言就存在著該文件的三個版本(每個客戶機一個，再加上伺服器上的一個)。有兩種方法可以在這些版本之間保持同步：
無狀態系統 在這個系統中，伺服器並不保存其客戶機正在緩存的文件的信息。因此，客戶機必須協同伺服器定期檢查是否有其他客戶改變了自己正在緩存的文件。這種方法在大的環境中會產生額外的LAN通信開銷，但對小型LAN來說，這是一種令人滿意的方法。NFS就是個無狀態系統。
回呼(Callback)系統 在這種方法中，伺服器記錄它的那些客戶機的所作所為，並保留它們正在緩存的文件信息。伺服器在一個客戶機改變了一個文件時使用一種叫回叫應答(callbackpromise)的技術通知其它客戶機。這種方法減少了大量網路通信。AFS(及OSFDCE的DFS)就是回叫系統。客戶機改變文件時，持有這些文件拷貝的其它客戶機就被回叫並通知這些改變。
無狀態操作在運行性能上有其長處，但AFS通過保證不會被回叫應答充斥也達到了這一點。方法是在一定時間後取消回叫。客戶機檢查回叫應答中的時間期限以保證回叫應答是當前有效的。回叫應答的另一個有趣的特徵是向用戶保證了文件的當前有效性。換句話說，若一個被緩存的文件有一個回叫應答，則客戶機就認為文件是當前有效的，除非伺服器呼叫指出伺服器上的該文件已改變了。 Yonghong Z-Data Mart
Yonghong Data Mart是一款數據存儲、數據處理的軟體。
Yonghong Data Mart採用基於ZDFS的分布式列存儲系統，就是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
Yonghong Data Mart的分布式文件存儲系統 (ZDFS)是在Hadoop HDFS基礎上進行的改造和擴展，將伺服器集群內所有節點上存儲的文件統一管理和存儲。這些節點包括唯一的一個NamingNode，在 ZDFS 內部提供元數據服務；許多MapNode，提供存儲塊。存儲在 ZDFS 中的文件被分成塊，然後將這些塊復制到多個計算機中（Map Node）。這與傳統的 RAID 架構大不相同。塊的大小和復制的塊數量在創建文件時由客戶機決定。Naming Node監控存在伺服器集群內所有節點上的文件操作，例如文件創建、刪除、移動、重命名等等。
Network File System

E. dfs是什麼意思

dfs是分布式文件系統。

Microsoft文件分布系統 (Dfs) 是一個網路伺服器組件，它能夠使你更容易地在網路上查詢和管理數據。分布式文件系統是將分布於不同電腦上的文件組合為單一的名稱空間，並使得在網路上建立一個單一的、層次化多重文件伺服器和伺服器共享的工作更為方便的途徑。

Microsoft分布式文件系統亦如其它文件系統一樣對硬碟進行管理。文件系統提供對磁碟扇區集合的統一命名訪問；而分布式文件系統則為伺服器、共享和文件提供統一的命名規則和映射。

分布式文件系統的類型：

獨立DFS根和域DFS根。獨立DFS根和拓撲結構存儲在單個計算機中，不提供容錯功能，沒有根目錄級的DFS共享文件夾，只支持一級DFS鏈接。

基於域DFS根駐留在多個域控或成員伺服器上，DFS的拓撲結構存儲在活動目錄中，因而可以在活動目錄的各主域控制器之間進行復制，提供容錯功能，可以有根目錄級的DFS共享文件夾，可以有多級DFS鏈接。

F. linux下常用的分布式文件系統有哪些

常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。

HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。

Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。

G. 共享文件與分布式文件系統的區別

分布式文件系統復(Distributed File System，DFS)
如果局制域網中有多台伺服器，並且共享文件夾也分布在不同的伺服器上，這就不利於管理員的管理和用戶的訪問。而使用分布式文件系統,系統管理員就可以把不同伺服器上的共享文件夾組織在一起，構建成一個目錄樹。這在用戶看來，所有共享文件僅存儲在一個地點，只需訪問一個共享的DFS根目錄，就能夠訪問分布在網路上的文件或文件夾，而不必知道這些文件的實際物理位置。