什麼是並行文件系統

1. 當前主流的分布式文件系統有哪些

目前幾個主流的分布式文件系統除gpfs外，還有pvfs、lustre、panfs、googlefs等。
1.pvfs(parallel
virtual
file
system)項目是clemson大學為了運行linux集群而創建的一個開源項目,目前pvfs還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一i/o節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對pvfs的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在carnegie
mellon
university啟動，lustre也是一個開源項目。它只有兩個元數據管理節點,同pvfs類似,當系統達到一定的規模之後，管理節點會成為lustre系統中的瓶頸。
3.panfs(panasas
file
system)是panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.googlefs(google
file
system)是google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，gpfs的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.

2. linux下常用的分布式文件系統有哪些

Lustre是HP，Intel，Cluster File System公司聯合美國能源部開發的Linux集群並行文件系統，名稱來源於Linux和Clusters。同時Lustre也是一個遵循GPL許可協議的開源軟體，Lustre也被稱為平行分布式文件系統，常用於大型計算機集群和超級電腦中。

Lustre的主要組建包括：元數據伺服器(Metadataservers， MDSs)、對象存儲伺服器(objectstorage servers， OSSs)和客戶端。其中MDSs提供元數據服務，MGS管理伺服器提供Lustre文件系統配置信息，OSS對象存儲伺服器expose塊設備提供數據。

Lustre文件系統針對大文件讀寫進行了優化，能夠提高性能的IO能力;在源數據獨立存儲、服務和網路失效的快速恢復、基於意圖的分布式鎖管理和系統可快速配置方面優異。

分布式存儲的關鍵技術主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴展性。從數據形態來劃分，主要有：結構化數據、非機構化數據和半結構化數據。

Linux是一套免費使用和自由傳播的類Unix操作系統，是一個基於POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操作系統。它能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路操作系統。

Linux操作系統誕生於1991 年10 月5 日（這是第一次正式向外公布時間）。Linux存在著許多不同的Linux版本，但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中，比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。

3. 並行文件系統 io請求類型

並行文件系統 io請求類型在不同層次有不同的表示。
io請求在內核的傳遞過程中，並未發生實際的拷貝，而是引用部分數據。
在request對象中還是有bio對象的，在轉化的時候，bio對象並未消失。
這是一種系統設計的方法，對象的有效性通過引用計數來實現。
在整個io請求處理過程中page，buffer_head，bio，bio_vec，request對象都並沒有消失。
最後的io調度演算法的實際操作，也只不過是將bio添加到request的biotail和更新nr_sectors而已。

4. 操作系統的文件系統由哪幾部分組成

由文件系統的介面，對對象操縱和管理的軟體集合，對象及屬性組成。

操作系統中負責管理和存儲文件信息的軟體機構稱為文件管理系統，簡稱文件系統。文件系統由三部分組成：文件系統的介面，對對象操縱和管理的軟體集合，對象及屬性。

從系統角度來看，文件系統是對文件存儲設備的空間進行組織和分配，負責文件存儲並對存入的文件進行保護和檢索的系統。

(4)什麼是並行文件系統擴展閱讀：

文件的系統是操作系統用於明確磁碟或分區上的文件的方法和數據結構；即在磁碟上組織文件的方法。也指用於存儲文件的磁碟或分區，或文件系統種類。

磁碟或分區和它所包括的文件系統的不同是很重要的。少數程序直接對磁碟或分區的原始扇區進行操作；這可能破壞一個存在的文件系統。大部分程序基於文件系統進行操作，在不同種文件系統上不能工作。

一個分區或磁碟在作為文件系統使用前，需要初始化，並將記錄數據結構寫到磁碟上。這個過程就叫建立文件系統。

5. 什麼是Hadoop分布式文件系統

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，內而是通過計算機網路與容節點相連。

Hadoop是Apache軟體基金會所研發的開放源碼並行運算編程工具和分散式檔案系統，與MapRece和Google檔案系統的概念類似。
HDFS（Hadoop 分布式文件系統）是其中的一部分。

6. Gluster 簡介

Gluster 是一種可擴展的分布式文件系統，可將來自多個伺服器的磁碟存儲資源聚合到一個全局命名空間中。

GlusterFS 體系結構將計算，存儲和 I/O 資源聚合到一個全局命名空間中。 每台伺服器加上存儲設備（配置為直連存儲，JBOD 或使用存儲區域網路）被視為節點。 通過添加其它節點或向每個節點添加額外存儲來擴展容量。 通過在更多節點之間部署存儲來提高性能。 通過在節點之間復制數據來實現高可用性。

GlusterFS 通過乙太網或 Infiniband RDMA 互連將各種存儲伺服器聚合到一個大型並行網路文件系統中。 GlusterFS 基於可堆疊的用戶空間設計。

GlusterFS 有一個客戶端和伺服器組件。伺服器通常部署為 storage bricks，每個伺服器運行 glusterfsd 守護程序以將本地文件系統導出為 volume。 glusterfs 客戶端進程通過 TCP/IP，InfiniBand 或套接字直接協議連接到具有自定義協議的伺服器，使用可堆疊轉換器從多個遠程伺服器創建復合虛擬卷。默認情況下，文件是整體存儲的，但也支持跨多個遠程卷分割文件。然後，客戶端主機可以通過 FUSE 機制使用自己的本機協議，使用內置伺服器轉換器的 NFS v3 協議或通過 libgfapi 客戶端庫訪問 volume。

GlusterFS 的大多數功能都實現為轉換器，包括基於文件的鏡像和復制，基於文件的條帶化，基於文件的負載均衡，卷故障轉移，調度和磁碟緩存，存儲配額以及具有用戶可維護性的卷快照（自 GlusterFS 3.6 版本以來 )。

GlusterFS 伺服器有意保持簡單：它按原樣導出現有目錄，將其留給客戶端轉換器來構建存儲。客戶端本身是無狀態的，不相互通信，並且期望具有彼此一致的轉換器配置。 GlusterFS 依賴於彈性散列演算法(elastic hashing algorithm)，而不是使用集中式或分布式元數據模型。使用 GlusterFS 3.1 及更高版本，可以動態添加，刪除或遷移卷，有助於避免配置一致性問題，並允許 GlusterFS 通過避免通常會影響更緊密耦合的分布式文件系統的瓶頸，在商用硬體上擴展到幾PB 。

GlusterFS 通過各種復制選項提供數據可靠性和可用性：復制卷和地理復制。復制卷確保每個文件至少存在一個副本，因此如果一個文件出現故障，仍然可以訪問數據。地理復制提供了主從模式的復制， volume 會跨不同的地理位置進行復制。這是非同步發生的，在發生故障時備份數據非常有用。

https://docs.gluster.org/en/latest/Administrator%20Guide/GlusterFS%20Introction/
https://en.wikipedia.org/wiki/Gluster

7. 如何區分分布式/集群/並行文件系統

分布式文件系統、集群文件系統、並行文件系統，這三種概念很容易混淆，實際中大家也經常不加區分地使用。總是有人問起這三者的區別和聯系，其實它們之間在概念上的確有交叉重疊的地方，但是也存在顯著不同之處。
分布式文件系統
自然地，分布式是重點，它是相對與本地文件系統而言的。分布式文件系統通常指C/S架構或網路文件系統，用戶數據沒有直接連接到本地主機，而是存儲在遠程存儲伺服器上。NFS/CIFS是最為常見的分布式文件系統，這就是我們說的NAS系統。分布式文件系統中，存儲伺服器的節點數可能是1個(如傳統NAS)，也可以有多個(如集群NAS)。對於單個節點的分布式文件系統來說，存在單點故障和性能瓶頸問題。除了NAS以外，典型的分布式文件系統還有AFS，以及下面將要介紹的集群文件系統(如Lustre, GlusterFS, PVFS2等)。
集群文件系統
集群主要分為高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和負載均衡集群LBC(Load Balancing Cluster)。集群文件系統是指協同多個節點提供高性能、高可用或負載均衡的文件系統，它是分布式文件系統的一個子集，消除了單點故障和性能瓶問題。對於客戶端來說集群是透明的，它看到是一個單一的全局命名空間，用戶文件訪問請求被分散到所有集群上進行處理。此外，可擴展性(包括Scale-Up和Scale-Out)、可靠性、易管理等也是集群文件系統追求的目標。在元數據管理方面，可以採用專用的伺服器，也可以採用伺服器集群，或者採用完全對等分布的無專用元數據伺服器架構。目前典型的集群文件系統有SONAS, ISILON, IBRIX, NetAPP-GX, Lustre, PVFS2, GlusterFS, Google File System, LoongStore, CZSS等。
並行文件系統
這種文件系統能夠支持並行應用，比如MPI。在並行文件系統環境下，所有客戶端可以在同一時間並發讀寫同一個文件。並發讀，大部分文件系統都能夠實現。並發寫實現起來要復雜許多，既要保證數據一致性，又要最大限度提高並行性，因此在鎖機制方面需要特別設計，如細粒度的位元組鎖。通常SAN共享文件系統都是並行文件系統，如GPFS、StorNext、GFS、BWFS，集群文件系統大多也是並行文件系統，如Lustre, Panasas等。如何區分？區分這三者的重點是分布式、集群、並行三個前綴關鍵字。簡單來說，非本地直連的、通過網路連接的，這種為分布式文件系統；分布式文件系統中，伺服器節點由多個組成的，這種為集群文件系統；支持並行應用(如MPI)的，這種為並行文件系統。在上面所舉的例子中也可以看出，這三個概念之間具有重疊之處，比如Lustre，它既是分布式文件系統，也是集群和並行文件系統。但是，它們也有不同之處。集群文件系統是分布式文件系統，但反之則不成立，比如NAS、AFS。SAN文件系統是並行文件系統，但可能不是集群文件系統，如StorNext。GFS、HDFS之類，它們是集群文件系統，但可能不是並行文件系統。實際中，三者概念搞理清後，分析清楚文件系統的特徵，應該還是容易正確地為其劃分類別的。

8. 哪些企業真正需要系統具備橫向擴展能力

在如今環境多樣化的狀況下，橫向擴展系統將會具有深遠的影響。由於某些行業需要存儲大量的文件，因此需要足夠的訪問帶寬才能滿足應用對性能的要求，因此對外擴展系統已經首先在網路附加存儲(NAS)方面發揮了威力。 例如，過去基於紙張或縮微膠片開展業務的一些大型傳統行業，在信息數字化後，其數據存儲壓力撲面而來。對提供橫向擴展NAS系統的供貨商而言，這些行業正是對他們充滿了吸引力的垂直市場，因為他們的產品正好可以為高性能的應用提供支持。 如果我們觀察一下 「橫向擴展NAS的垂直關聯行業圖」中的IO軸和吞吐量的關系模型，就會發現這些行業有許多應用都要求非常高的吞吐量。在許多橫向擴展NAS系統(包括明年將推出的支持並行網路文件系統的NAS系統)中內置的並行數據服務功能提供的能力超過了每秒MB——傳統縱向擴展NAS系統提供的能力值。縱向擴展NAS的垂直關聯行業圖 來源：企業戰略集團，2011年. 就在最近的五年前，這張圖還不是這個樣子。許多右上方的業務負載還擠在圖中的左下側。但是處理器技術(如多處理器和更快的晶元集)，視頻、圖像和設計軟體(例如3-D CAD、4-D醫學成像、高清電視等等還有很多)等各方面的進步，已經催生了新的業務負載，而這些負載帶來了完全不同的性能需求。這些應用產生了海量的文件和多線程的訪問請求，單處理器或雙處理器的縱向擴展系統沒法及時完成響應，造成了業務系統的響應減慢或請求服務超時。 讓我們對一些具體的行業進行深入分析，來佐證我的觀點。 金融服務。這些習慣了管理巨量交易信息的用戶，現在成了高性能並行文件系統的主力用戶。高性能並行文件系統通常是應用在市場業績預測和商業智能方面。這些應用調用的文件，不只是內容巨大，還需要長時間的密集計算處理，需要高級別的數據保護並需要保證數據的即時可用性。金融服務的用戶特意尋找橫向擴展架構以消除數據整合的瓶頸。數據整合是金融服務IT的核心任務。對於這些用戶來說，理想的NAS解決方案是，可以隨時通過增加節點，來使數據的訪問性能變得更快。 生命科學。毫不奇怪，從事與健康相關的科學研究組織，對並行文件系統解決方案非常感興趣，因為這些系統可以提供高帶寬的數據傳輸能力和大規模的可擴展性。在這些組織中，緊密合作是非常必須的。例如，IT團隊必須得想辦法，使成千上萬的研究人員可以共享非常大的基因測序文件或蛋白質組數據。這些企業還必須加快他們的發現過程來獲得成功。如果能更快地發明一種新的葯物，這種葯物就可以被更快地進行測試，就能更快地獲得批准，並應用於醫療和科研實踐中。對這些組織而言，要加速葯物的發現過程，以IT為中心的解決方案就是，構建基於高性能並行文件系統的基礎設施，從而避免後續不斷進行顛覆性的系統改造和升級。 製造和設計。像已經明確的其他行業一樣，高科技製造商、航空航天公司、納米電子新企業、CAD / CAM設計公司以及其他更多的類似組織，也需要巨大的存儲量。他們都在尋找方法來優化數據管理。這些行業用戶需要實現存儲容量的無縫擴展，以應對數字信息的不斷增長，並提高工程團隊之間的信息共享能力。在這樣的環境中，系統失效會導致重大的經濟損失。所以製造和設計領域的用戶希望部署基於文件的存儲系統，以達到近乎100%的可靠性以及容量在線升級的簡易性。他們為增強文件系統管理、數據移動、復制和遷移/分級存儲等功能，尋找自動化的解決方案。 媒體和娛樂。傳媒和娛樂機構的經營模式已經發生了急劇的變化。在早期的年代裡，他們會出版印刷的雜志，現在，這些雜志僅提供「單一網路在線」格式。不僅所有編輯的內容需要迅速提供給讀者和編者，所有的廣告文件也一樣。對數字密集型的媒體和娛樂公司而言，大型視頻文件也加劇了數據增長帶來的問題。 今天的傳媒和娛樂機構創建和保護著TB或PB級的文件數據。在一些企業中，大部分數據是建立在「邊緣」——遠離主數據中心的遠程新聞分社或CGI設計工作室。這些業務機構為數據的復制備份帶來了難題，甚至可能會使得基礎設施的災難恢復(DR)能力受到障礙。媒體和娛樂機構正在尋找高性能的橫向擴展NAS解決方案來解決各種問題 ——例如提高虛擬伺服器基礎設施的性能，或者，為內容的創作者和閱讀者提供信息的隨時可用性和及時可用性。 石油和天然氣。在過去，探尋石油和天然氣儲量具有很大的不確定性。今天，藉助於數字化的信息數據，這已經成了一個高精度的科學過程。過去的十年中，在油層下降和提取操作變得更加復雜的同時，對疑似資源儲藏地點的三維可視化，已成為該行業無時不刻需要利用的工具。在石油和天然氣垂直市場的IT經理，面臨的挑戰是找到NAS基礎設施，以支持海量數據的共享和保護。這些數據是對石油儲量建模/模擬處理的結果。如果沒有一個這樣的架構，能夠在數據存儲容量增長的同時保持數據訪問的性能，那麼保持企業的競爭優勢會變得非常困難——主要原因是 「見效時間」(資源開采)太長了。對石油和天然氣企業處理巨型規模的模擬計算而言， 橫向擴展NAS系統是一個很好的解決方案。而這樣的模擬計算，是他們在競爭中獲得成功的直接保證。 傳統的高性能計算、學術和研究。在公共部門工作的天體物理學家、分子生物學家、化學家、核物理學家和社會科學家，是海量數據的製造者和使用者。例如，由歐洲核子研究中心運行的大型強子對撞機，其IT團隊在2010年中期就管理著 70 PB的數據。甚至規模非常小的研究設施(通常是運行在經費有限的大學機構或商業實驗室)也依賴於高性能網格計算和並行文件系統架構，以支持建模和模擬任務，才能夠解決現實世界問題以及為「大」問題做出回答。他們的工作需要低延遲的網路集群，以應對非常高的性能要求和帶寬要求。 這些行業是橫向擴展系統的先期實際採用者，因為它們在吞吐量性能方面有橫向擴展的剛性需求。但大多數的部門應該充分考慮，將許多PB的數據存儲在一個單一命名空間，其效率如何以及能節省多少運營費用。這是橫向擴展系統在雲架構獲得應用的原因。

9. 並行處理是雲存儲的用途嗎

雲存儲的應用領域
雲物聯應用
雲計算和物聯網之間的關系可以用一個形象的比喻來說明：「雲計算」是「互聯網「中的神經系統的雛形，「物聯網」是「互聯網」正在出現的末梢神經系統的萌芽。
雲存儲應用
雲存儲是在雲計算（cloud computing）概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。
雲呼叫應用
雲呼叫中心是基於雲計算技術而搭建的呼叫中心系統，企業無需購買任何軟、硬體系統，只需具備人員、場地等基本條件，就可以快速擁有屬於自己的呼叫中心，軟硬體平台、通信資源、日常維護與服務由伺服器商提供。具有建設周期短、投入少、風險低、部署靈活、系統容量伸縮性強、運營維護成本低等眾多特點；無論是電話營銷中心、客戶服務中心，企業只需按需租用服務，便可建立一套功能全面、穩定、可靠、座席可分布全國各地，全國呼叫接入的呼叫中心系統。
私有雲應用
私有雲（Private Cloud）是將雲基礎設施與軟硬體資源創建在防火牆內，以供機構或企業內各部門共享數據中心內的資源。 創建私有雲，除了硬體資源外，一般還有雲設備（IaaS）軟體；現時商業軟體有VMware的 vSphere 和Platform Computing 的ISF， 開放源代碼的雲設備軟體主要有Eucalyptus和OpenStack。
私有雲計算同樣包含雲硬體、雲平台、雲服務三個層次。不同的是，雲硬體是用戶自己的個人電腦或伺服器，而非雲計算廠商的數據中心。雲計算廠商構建數據中心的目的是為千百萬用戶提供公共雲服務，因此需要擁有幾十上百萬台伺服器。私有雲計算，對個人來說只服務於親朋好友，對企業來說只服務於本企業員工以及本企業的客戶和供應商，因此個人或企業自己的個人電腦或伺服器已經足夠用來提供雲服務。
雲游戲應用
雲游戲是以雲計算為基礎的游戲方式，在雲游戲的運行模式下，所有游戲都在伺服器端運行，並將渲染完畢後的游戲畫面壓縮後通過網路傳送給用戶。在客戶端，用戶的游戲

10. HPC服務是干什麼的

Linux HPC 服務

服務介紹

IBM 在世界 500 強的超級計算機中排名第一，而且 500 台中有 215 台是由 IBM 完成。IBM 發明了包括並行處理、對稱多處理機和群集等技術，並通過它們始終保持著在業界的領先水平。IBM Linux 群集方案是由基於 IBM PC 伺服器整合而成的，另外還有組成高速互連光纖和乙太網絡的 OEM 設備，它的優勢在於很強的並行計算和工作調度。

IBM 基於Linux 群集的服務包括：

1. Linux HPC 規劃設計服務
2. Linux HPC 安裝服務
3. Linux HPC CSM 安裝服務
4. Linux HPC GPFS 安裝服務

服務內容

1 Linux HPC 規劃設計服務

此服務將建立在對客戶應用的充分了解基礎之上，針對客戶現有的 IT 基礎設施的現狀，提出與現有設施結合最緊密的實施方案。

基於客戶的要求，提出 Linux 群集的規模設計，提出計算結點、管理節點、路由器以及其它設備的最佳安裝位置和配置方案的規劃

根據客戶應用軟體的要求，提出對管理節點系統資源劃分，以及計算結點所安裝系統包的規劃。

根據客戶現有系統網路情況，提出群集內部網路、外部網路和管理網路地址規劃。

根據客戶應用對群集作業調度的要求，提出測試規劃。

通過提供以上規劃設計服務，使得系統滿足客戶對群集並行能力和作業調度的需求。客戶可以通過這項服務，獲得整個群集最大能力的發揮。

2 Linux HPC 實施服務

* 系統硬體就位、連線、上電。
* 安裝群集內部各節點的操作系統。
* 實現網路資源的劃分。
* 提供更多的 Linux 的配置和客戶化；
* 現場與客戶現場的系統管理員的技術交流；
* 關鍵時刻，現場解決問題；
* 提供性能測試和調整；
* 群集安裝服務的整體項目管理

此服務的目的就是：將客戶購買的所有 IBM PC 伺服器和各第三方產品硬體安裝就位，硬體連接完畢；根據對群集資源的規劃，將整個群集操作系統安裝完畢。

通過安裝高性能群集，客戶可以實現高度的並行運算速度，以及可擴展性和可管理性很強的群集結構。而且它的性價比將是對客戶的最大吸引力。

3 Linux HPC CSM 安裝服務

IBM 群集系統管理軟體（以下簡稱CSM）的目的是提供對群集系統的廣泛管理能力。

CSM 提供多種有用的功能可以對群集系統進行單點控制。

CSM 提供的主要功能有：

* 資源監控及操作
* 遠程硬體控制
* 遠程命令執行
* 配置文件管理
* 並行網路安裝

4 Linux GPFS 安裝服務

IBM 的通用並行文件系統（以下簡稱GPFS）允許用戶可以共享對文件的訪問.

UNIX 文件系統的很多功能也被 GPFS 所支持。

GPFS 可以為並行或者串列的應用程序提供文件系統服務。

當建立群集系統時，GPFS 可以提供一些優勢。我們總結如下：

1. 提高系統性能
2. 確保配置以及文件的一致性
3. 高可恢復性以及增強的數據可靠性
4. 增強的系統靈活性
5. 簡單的管理

客戶收益

通過添加更多的 Linux 節點，該系統的並行計算能力可以垂直擴展。

它是一個經濟高效的解決方案，用相對較低的成本獲得千兆量級的浮點運算速度。

利用了對稱多處理能力，適用於並行計算的任務，如生命科學或模擬等。