導航:首頁 > 文件目錄 > 分布式文件系統的類型

分布式文件系統的類型

發布時間:2024-12-08 18:05:25

A. linux下常用的分布式文件系統有哪些

常見的分布式文件系統有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統,而是應用級的分布式文件存儲服務。
GFS(Google File System)
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節,但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。

HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch,後者是一個開源的網路搜索引擎,本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用,是Google開創其帝國的重要基石。

Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高,C++編寫的代碼,支持Fuse,並且沒有單點故障依賴, 於是下載安裝, 由於 ceph 使用 btrfs 文件系統, 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了,它基於的btrfs本身就不成熟,它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的,具備高可用性的集群文件系統,它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統,可以支持超過10000個節點,數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域,例如HP SFS產品等。

B. dfs是什麼意思

dfs是分布式文件系統。

Microsoft文件分布系統 (Dfs) 是一個網路伺服器組件,它能夠使你更容易地在網路上查詢和管理數據。分布式文件系統是將分布於不同電腦上的文件組合為單一的名稱空間,並使得在網路上建立一個單一的、層次化多重文件伺服器和伺服器共享的工作更為方便的途徑。

Microsoft分布式文件系統亦如其它文件系統一樣對硬碟進行管理。文件系統提供對磁碟扇區集合的統一命名訪問;而分布式文件系統則為伺服器、共享和文件提供統一的命名規則和映射。

分布式文件系統的類型:

獨立DFS根和域DFS根。獨立DFS根和拓撲結構存儲在單個計算機中,不提供容錯功能,沒有根目錄級的DFS共享文件夾,只支持一級DFS鏈接。

基於域DFS根駐留在多個域控或成員伺服器上,DFS的拓撲結構存儲在活動目錄中,因而可以在活動目錄的各主域控制器之間進行復制,提供容錯功能,可以有根目錄級的DFS共享文件夾,可以有多級DFS鏈接。

C. 小文件讀寫的分布式文件系統哪些

分布式文件系統、集群文件系統、並行文件系統,這三種概念很容易混淆,實際中大家也經常不加區分地使用。總是有人問起這三者的區別和聯系,其實它們之間在概念上的確有交叉重疊的地方,但是也存在顯著不同之處。 分布式文件系統 自然地,「分布式」是重點,它是相對與本地文件系統而言的。分布式文件系統通常指C/S架構或網路文件系統,用戶數據沒有直接連接到本地主機,而是存儲在遠程存儲伺服器上。NFS/CIFS是最為常見的分布式文件系統,這就是我們說的NAS系統。分布式文件系統中,存儲伺服器的節點數可能是1個(如傳統NAS),也可以有多個(如集群NAS)。對於單個節點的分布式文件系統來說,存在單點故障和性能瓶頸問題。除了NAS以外,典型的分布式文件系統還有AFS,以及下面將要介紹的集群文件系統(如Lustre, GlusterFS, PVFS2等)。 集群文件系統 「集群」主要分為高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群文件系統是指協同多個節點提供高性能、高可用或負載均衡的文件系統,它是分布式文件系統的一個子集,消除了單點故障和性能瓶問題。對於客戶端來說集群是透明的,它看到是一個單一的全局命名空間,用戶文件訪問請求被分散到所有集群上進行處理。此外,可擴展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系統追求的目標。在元數據管理方面,可以採用專用的伺服器,也可以採用伺服器集群,或者採用完全對等分布的無專用元數據伺服器架構。目前典型的集群文件系統有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。 並行文件系統 這種文件系統能夠支持並行應用,比如MPI。在並行文件系統環境下,所有客戶端可以在同一時間並發讀寫同一個文件。並發讀,大部分文件系統都能夠實現。並發寫實現起來要復雜許多,既要保證數據一致性,又要最大限度提高並行性,因此在鎖機制方面需要特別設計,如細粒度的位元組鎖。通常SAN共享文件系統都是並行文件系統,如GPFS、StorNext、GFS、BWFS,集群文件系統大多也是並行文件系統,如Lustre, Panasas等。 如何區分? 區分這三者的重點是「分布式」、「集群」、「並行」三個前綴關鍵字。簡單來說,非本地直連的、通過網路連接的,這種為分布式文件系統;分布式文件系統中,伺服器節點由多個組成的,這種為集群文件系統;支持並行應用(如MPI)的,這種為並行文件系統。在上面所舉的例子中也可以看出,這三個概念之間具有重疊之處,比如Lustre,它既是分布式文件系統,也是集群和並行文件系統。但是,它們也有不同之處。集群文件系統是分布式文件系統,但反之則不成立,比如NAS、AFS。SAN文件系統是並行文件系統,但可能不是集群文件系統,如StorNext。GFS、HDFS之類,它們是集群文件系統,但可能不是並行文件系統。實際中,三者概念搞理清後,分析清楚文件系統的特徵,應該還是容易正確地為其劃分類別的。

閱讀全文

與分布式文件系統的類型相關的資料

熱點內容
怎麼將ai原文件放到ps 瀏覽:870
局長都是用什麼app約會 瀏覽:236
excel隱藏工具欄快捷鍵 瀏覽:284
原神畫面配置文件 瀏覽:659
Ps儲存覆蓋了文件怎麼辦 瀏覽:906
回款app有哪些 瀏覽:419
象牙海岸三字代碼 瀏覽:327
燒錄鏡像文件 瀏覽:936
關鍵信息重要數據在哪裡儲存 瀏覽:121
網盤的大文件如何解壓 瀏覽:149
vba編程怎麼取消隱藏 瀏覽:205
選手機鈴聲用哪個app 瀏覽:178
編程少年如何查看作品 瀏覽:492
iphone視頻提出來 瀏覽:108
通用網路爬蟲基本原理 瀏覽:945
Dhcp篩選配置文件無 瀏覽:629
手機如何設密碼鎖屏密碼 瀏覽:286
一鍵移機移的是什麼數據 瀏覽:84
七喜筆記本拆機教程 瀏覽:356
文件編號規范 瀏覽:834

友情鏈接