① 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器
1.簡介
分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。
當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。
傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。
然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。
2.分布式文件系統的一些解決方案
Google Filesystem適合存儲海量大個文件，元數據存儲與內存中
HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件
TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS
擅長存儲海量的小數據，元數據存儲與關系型資料庫中
1.簡介
MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。
目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.
國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。
2.MogileFS特性
1) 應用層提供服務，不需要使用核心組件
2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）
3）自動復制文件，復制文件的最小單位不是文件，而是class
4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信
5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現
6）不用共享任何數據
3.MogileFS的組成
1）Tracker--跟蹤器，調度器
MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.
mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，
tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠
2）Database--資料庫部分
主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用
3）mogstored--存儲節點
數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.
典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.
配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠
4.基本工作流程
應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.
tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。
應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.
應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.
tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)
tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則
然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.
應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)
1.拓撲圖
說明：1.用戶通過URL訪問前端的nginx
2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求
3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx
4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求
5.mogstored將結果返回給nginx
6.nginx構建響應報文返回給客戶端
2.ip規劃
角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1
mogilefs192.168.1.202存儲節點與調度節點2
mogilefs192.168.1.203資料庫節點
MariaDB192.168.1.204
3.資料庫的安裝操作並為授權
關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql
4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝
5.初始化資料庫
可以看到在資料庫中創建了一些表
6.修改配置文件，啟動服務
7.配置mogilefs
添加存儲主機
添加存儲設備
添加域
添加class
8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣
9.嘗試上傳數據，獲取數據，客戶端讀取數據
上傳數據，在任何一個節點上傳都可以
獲取數據
客戶端查看數據
我們可以通過任何一個節點查看到數據
要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現
1.編譯安裝nginx
2.准備啟動腳本
3.nginx與mofilefs互聯
查看效果
5.配置後端truckers的集群
查看效果
大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群
② 分布式存儲有哪些
問題一：當前主流分布式文件系統有哪些?各有什麼優缺點 目前幾個主流的分布式文件系統除GPFS外，還有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)項目是Clemson大學為了運行linux集群而創建的一個開源項目,目前PVFS還存在以下不足：
1）單一管理節點:只有一個管理節點來管理元數據，當集群系統達到一定的規模之後，管理節點將可能出現過度繁忙的情況，這時管理節點將成為系統瓶頸;
2）對數據的存儲缺乏容錯機制:當某一I/O節點無法工作時，數據將出現不可用的情況;
3）靜態配置:對PVFS的配置只能在啟動前進行，一旦系統運行則不可再更改原先的配置。
2.Lustre文件系統是一個基於對象存儲的分布式文件系統，此項目於1999年在Carnegie Mellon University啟動，Lustre也是一個開源項目。它只有兩個元數據管理節點,同PVFS類似,當系統達到一定的規模之後，管理節點會成為Lustre系統中的瓶頸。
3.PanFS(Panasas File System)是Panasas公司用於管理自己的集群存儲系統的分布式文件系統。
4.GoogleFS(Google File System)是Google公司為了滿足公司內部的數據處理需要而設計的一套分布式文件系統。
5.相對其它的文件系統，GPFS的主要優點有以下三點：
1)使用分布式鎖管理和大數據塊策略支持更大規模的集群系統,文件系統的令牌管理器為塊、inode、屬性和目錄項建立細粒度的鎖，第一個獲得鎖的客戶將負責維護相應共享對象的一致性管理，這減少了元數據伺服器的負擔;
2)擁有多個元數據伺服器,元數據也是分布式,使得元數據的管理不再是系統瓶頸;
3)令牌管理以位元組作為鎖的最小單位,也就是說除非兩個請求訪問的是同一文件的同一位元組數據,對於數據的訪問請求永遠不會沖突.
問題二：分布式存儲是什麼？選擇什麼樣的分布式存儲更好？ 分布式存儲系統，是將數據分散存儲在多 *** 立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
聯想超融合ThinkCloud AIO超融合雲一體機是聯想針對企業級用戶推出的核心產品。ThinkCloud AIO超融合雲一體機實現了對雲管理平台、計算、網路和存儲系統的無縫集成，構建了雲計算基礎設施即服務的一站式解決方案，為用戶提供了一個高度簡化的一站式基礎設施雲平台。這不僅使得業務部署上線從周縮短到天，而且與企業應用軟體、中間件及資料庫軟體完全解耦，能夠有效提升企業IT基礎設施運維管理的效率和關鍵應用的性能
問題三：什麼是分布式存儲系統？ 就是將數據分散存儲在多 *** 立的設備上
問題四：什麼是分布式數據存儲 定義：
分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
特點：
1.高可擴展性：分布式資料庫必須具有高可擴展性，能夠動態地增添存儲節點以實現存儲容量的線性擴展。
2 高並發性：分布式資料庫必須及時響應大規模用戶的讀/寫請求，能對海量數據進行隨機讀/寫。
3. 高可用性：分布式資料庫必須提供容錯機制，能夠實現對數據的冗餘備份，保證數據和服務的高度可靠性。
問題五：分布式文件系統有哪些主要的類別？ 分布式存儲在大數據、雲計算、虛擬化場景都有勇武之地，在大部分場景還至關重要。munity.emc/message/655951 下面簡要介紹*nix平台下分布式文件系統的發展歷史：
1、單機文件系統
用於操作系統和應用程序的本地存儲。
2、網路文件系統（簡稱：NAS）
基於現有乙太網架構，實現不同伺服器之間傳統文件系統數據共享。
3、集群文件系統
在共享存儲基礎上，通過集群鎖，實現不同伺服器能夠共用一個傳統文件系統。
4、分布式文件系統
在傳統文件系統上，通過額外模塊實現數據跨伺服器分布，並且自身集成raid保護功能，可以保證多台伺服器同時訪問、修改同一個文件系統。性能優越，擴展性很好，成本低廉。
問題六：分布式文件系統和分布式資料庫有什麼不同 分布式文件系統（dfs）和分布式資料庫都支持存入，取出和刪除。但是分布式文件系統比較暴力，可以當做key/value的存取。分布式資料庫涉及精煉的數據，傳統的分布式關系型資料庫會定義數據元組的schema，存入取出刪除的粒度較小。
分布式文件系統現在比較出名的有GFS（未開源），HDFS（Hadoop distributed file system）。分布式資料庫現在出名的有Hbase，oceanbase。其中Hbase是基於HDFS，而oceanbase是自己內部實現的分布式文件系統，在此也可以說分布式資料庫以分布式文件系統做基礎存儲。
問題七：分布式存儲有哪些 華為的fusionstorage屬於分布式 您好，很高興能幫助您，首先，FusionDrive其實是一塊1TB或3TB機械硬碟跟一塊128GB三星830固態硬碟的組合。我們都知道，很多超極本同樣採用了混合型硬碟，但是固態硬碟部分的容量大都只有8GB到32GB之間，這個區間無法作為系統盤來使用，只能作
問題八：linux下常用的分布式文件系統有哪些 這他媽不是騰訊今年的筆試題么
NFS（tldp/HOWTO/NFS-HOWTO/index）
網路文件系統是FreeBSD支持的文件系統中的一種，也被稱為NFS。
NFS允許一個系統在網路上與它人共享目錄和文件。通過使用NFS， 用戶和程序可以象訪問本地文件一樣訪問遠端系統上的文件。它的好處是：
1、本地工作站使用更少的磁碟空間，因為通常的數據可以存放在一台機器上而且可以通過網路訪問到。
2、用戶不必在每個網路上機器裡面都有一個home目錄。home目錄可以被放在NFS伺服器上並且在網路上處處可用。
3、諸如軟碟機、CDROM、和ZIP之類的存儲設備可以在網路上面被別的機器使用。可以減少整個網路上的可移動介質設備的數量。
開發語言c/c++,可跨平台運行。
OpenAFS（openafs）
OpenAFS是一套開放源代碼的分布式文件系統，允許系統之間通過區域網和廣域網來分享檔案和資源。OpenAFS是圍繞一組叫做cell的文件伺服器組織的，每個伺服器的標識通常是隱藏在文件系統中，從AFS客戶機登陸的用戶將分辨不出他們在那個伺服器上運行，因為從用戶的角度上看，他們想在有識別的Unix文件系統語義的單個系統上運行。
文件系統內容通常都是跨cell復制，一便一個硬碟的失效不會損害OpenAFS客戶機上的運行。OpenAFS需要高達1GB的大容量客戶機緩存，以允許訪問經常使用的文件。它是一個十分安全的基於kerbero的系統，它使用訪問控制列表(ACL）以便可以進行細粒度的訪問，這不是基於通常的Linux和Unix安全模型。開發協議IBM Public，運行在linux下。
MooseFs（derf.homelinux）
Moose File System是一個具備容錯功能的網路分布式文件統，它將數據分布在網路中的不同伺服器上，MooseFs通過FUSE使之看起來就 是一個Unix的文件系統。但有一點問題，它還是不能解決單點故障的問題。開發語言perl,可跨平台操作。
pNFS（pnfs）
網路文件系統(Network FileSystem,NFS)是大多數區域網(LAN）的重要的組成部分。但NFS不適用於高性能計算中苛刻的輸入書櫥密集型程序，至少以前是這樣。NFS標準的罪行修改納入了Parallel NFS(pNFS），它是文件共享的並行實現，將傳輸速率提高了幾個數量級。
開發語言c/c++,運行在linu下。
googleFs
據說是一個比較不錯的一個可擴展分布式文件系統，用於大型的，分布式的，對大量數據進行訪問的應用。它運行於廉價的普通硬體上，但可以提供容錯功能，它可以給大量的用戶提供性能較高的服務。google自己開發的。
問題九：分布式存儲都有哪些，並闡述其基本實現原理 神州雲科 DCN NCS DFS2000（簡稱DFS2000）系列是面向大數據的存儲系統，採用分布式架構，真正的分布式、全對稱群集體系結構，將模塊化存儲節點與數據和存儲管理軟體相結合，跨節點的客戶端連接負載均衡，自動平衡容量和性能，優化集群資源，3-144節點無縫擴展，容量、性能歲節點增加而線性增長，在 60 秒鍾內添加一個節點以擴展性能和容量。
問題十：linux 分布式系統都有哪些？ 常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。
HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。
Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。
Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。
③ NFS 深入配置
1.1 NFS配置參數許可權
參數名稱
參數用途
rw
read-write，表示可讀寫許可權
ro
read-only，表示只讀許可權
sync
請求或寫入數據時，數據同步寫入到硬碟才完成
async
非同步寫到遠程緩沖區
all_squash
不管客戶端什麼用戶，到服務端都會被壓縮成匿名用戶
anonuid
匿名用戶的UID
anongid
匿名用戶的GID
在配置文件內設置共享目錄時所給予的許可權：
[root@nfs01 ~]$ cat /etc/exports
/data 172.16.1.0/24(rw,sync) 10.0.0.0/24(ro)
配置好NFS服務後，/var/lib/nfs/etab文件中可以看到的配置參數以及默認自帶的參數：
[root@nfs01 ~]$ cat /var/lib/nfs/etab
/data
172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,
no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,
anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash
1.1.1 更改NFS默認用戶
1.1.1.1 nfs01服務端NFS、以及所有客戶端：
[root@nfs01 ~] id www
uid=1111(www) gid=1111(www) 組=1111(www)
1.1.1.2 服務端NFS特殊配置
配置文件增加如下內容：
[root@nfs01 ~]$ tail -2 /etc/exports
/data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111)
/data1 10.0.0.0/24(ro)
共享目錄更改用戶和用戶組：
[root@nfs01 ~] ls -ld /data
drwxr-xr-x 2 www www 70 4月 18 10:05 /data
1.1.1.3 服務端NFS重啟
[root@nfs01 ~]$ systemctl reload nfs
1.1.1.4 每個客戶端掛載
[root@web01 ~] df -h
文件系統 容量 已用 可用 已用% 掛載點
172.16.1.31:/data 19G 1.8G 18G 10% /data
新創建文件驗證用戶名：
[root@web01 /data]# touch new_web01.txt
[root@web01 /data]# ls -l
總用量 0
-rw-r--r-- 1 www www 0 4月 18 11:01 new_web01.txt
-rw-r--r-- 1 www www 0 4月 17 11:59 oldboy.txt
-rw-r--r-- 1 www www 0 4月 17 12:30 oldgirl.txt
1.2 NFS服務重點知識梳理
當多個NFS客戶端訪問伺服器端讀寫文件時，需要具有以下幾個許可權：
NFS伺服器/etc/exports設置需要開放許可寫入的許可權，即伺服器端的共享許可權
NFS伺服器實際要共享的NFS目錄許可權具有可寫入w的許可權，即伺服器端本地目錄的安全許可權
每台機器都對應存在和NFS默認配置UID的相同UID的用戶
下表列出了常用的重點NFS服務文件或命令。
NFS常用路徑
說明
/etc/exports
NFS服務主配置文件，配置NFS具體共享服務的地點，默認內容為空
/var/lib/nfs/etab
NFS配置文件的完整參數設定的文件
/proc/mounts
客戶端的掛載參數
1.3 NFS客戶端掛載深入
1.3.1 mount -o 參數選項及系統默認設置
參數
參數意義
系統默認值
suid/nosuid
當掛載的文件系統上有任何SUID的程序時，只要使用nosuid就能夠取消設置SUID的功能
suid
rw/ro
可以指定文件系統是只讀（ro）或可讀寫（rw）
rw
dev/nodev
是否可以保留裝置文件的特殊功能
dev
exec/noexec
是否具有執行文件的許可權
exec
user/nouser
是否允許用戶擁有文件的掛載與卸載功能
nouser
auto/noauto
auto指的是「mount -a」時會不會被掛載的項目，如果不需要這個分區隨時被掛載，可以設置為noauto
auto
1.3.2 mount -o 參數詳細說明
參數選項
說明
async
涉及文件系統I/O的操作都是非同步處理，即不會同步寫到磁碟，能提高性能，但會降低數據安全。
sync
有I/O操作時，都會同步處理I/O，會降低性能，但數據比較安全。
atime
在每一次數據訪問時，會更新訪問文件的時間戳，是默認選項，在高並發的情況下，可以通過添加noatime來取消默認項。
ro
以只讀的方式掛載一個文件系統
rw
以可讀寫的方式掛載一個文件系統
auto
能夠被自動掛載通過-a選項
noauto
不會自動掛載文件系統
defaults
這是fstab里的默認值，包括rw、suid、dev、exec、auto、nouser、async
exec
允許文件系統執行二進制文件，取消這個參數，可以提升系統安全性。
noexec
在掛載的文件系統中不允許執行任何二進製程序，進僅對二進製程序有效。
noatime
訪問文件時不更新文件的時間戳，高並發情況下，一般使用該參數
nodiratime
不更新文件系統上的directory inode時間戳，高並發環境，推薦顯式應用該選項，可以提高系統I/O性能。
nosuid
不允許set-user-identifier or set-group-identifier位生效。
suid
允許set-user-identifier or set-group-identifier位生效。
nouser
禁止一個普通用戶掛載該文件系統，這是默認掛載時的默認選項。
remount
嘗試重新掛載一個已經掛載了的文件系統，這通常被用來改變一個文件系統的掛載標志，從而使得一個只讀文件系統變的可寫，這個動作不會改變設備或者掛載點。當系統故障時進人single或rescue模式修復系統時，會發現根文件系統經常會變成只讀文件系統，不允許修改，此時該命令就派上用場了。具體命令為：mount -o remount,rw /,表示將根文件系統重新掛載使得可寫。single或rescue模式修復系統時這個命令十分重要。
dirsync
目錄更新時同步寫人磁碟。
1.3.3 企業生產場景NFS共享存儲優化
硬體：使用ssd/sas磁碟，可以買多塊，製作成raid10。
NFS伺服器端配置：
/data 10.0.0.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)
NFS客戶端掛載優化配置命令：
mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,rsize=131072,
wsize=131072 172.16.1.31:/data /mnt <===兼顧安全性能
對NFS服務的所有伺服器內核進行優化，執行命令如下：
cat >>/etc/sysctl.conf <<EOF
net.core.wmen_default = 8388608
net.core.rmen_default = 8388608
net.core.wmen_max = 16777216
net.core.rmen_max = 16777216
EOF
執行sysctl -p 生效
大型網站NFS網路文件系統的替代軟體為分布式文件系統，如：Moosefs（mfs）、GlusterFS、FastDFS。
1.4 NFS系統應用的優缺點
1.4.1 優點
簡單，容易上手，容易掌握。
NFS文件系統內數據是在文件系統之上的，即數據是能看得見的。
部署快速維護簡單方便，且可控，滿足需求就是最好的。
可靠，從軟體層面上看，數據可靠性高，經久耐用。
服務非常穩定。
1.4.2 缺點（局限）
存在單點故障，如果NFS服務端宕機了，所有客戶端都不能訪問共享目錄。
在大數據高並發的場合，NFS效率、性能有限。
客戶端認證是基於IP和主機名的，許可權要根據ID識別，安全性一般。
NFS數據是明文的，NFS本身不對數據完整性進行驗證。
多台客戶機掛載一個NFS伺服器時，連接管理維護麻煩。
1.4.3 解決性能問題的方法
使用CDN加速以及自己搭建文件緩存服務（squid、nginx、varnish）。
把多個目錄分配到不同的NFS伺服器上。
棄用NFS（即讀寫分離）。
使用分布式文件系統。
④ 怎麼在集群上安裝moosefs
怎麼在集群上安裝moosefs
Google了一下，流行的開源分布式文件系統有很多，介紹如下：
mogileFS：Key-Value型元文件系統，不支持FUSE，應用程序訪問它時需要API，主要用在web領域處理海量小圖片，效率相比mooseFS高很多。
fastDFS：國人在mogileFS的基礎上進行改進的key-value型文件系統，同樣不支持FUSE，提供比mogileFS更好的性能。
mooseFS：支持FUSE，相對比較輕量級，對master伺服器有單點依賴，用perl編寫，性能相對較差，國內用的人比較多
glusterFS：支持FUSE，比mooseFS龐大
ceph：支持FUSE，客戶端已經進入了linux-2.6.34內核，也就是說可以像ext3/rasierFS一樣，選擇ceph為文件系統。徹底的分布式，沒有單點依賴，用C編寫，性能較好。基於不成熟的btrfs，其本身也非常不成熟。
沒有實現windows平台的moosefs客戶端，
如果需要在windows平台訪問，可以通過Cygwin安裝linux平台的包實現。
⑤ 可以靈活擴容的分布式文件存儲軟體有嗎
XSKY 星辰天合的XEDP平台擴展彈性就很高的，在我們使用中發現，它可以實現從單資源池數台到數百台的不停機水平擴展。
⑥ MooseFS和Hadoop兩個分布式文件系統各有什麼優缺點
首先，說一下這兩個分布式文件系統的相同之處：1.這兩個文件系統都是類似GoogleFS的實現方式，即一個MasterServer和多個ChunkServer構成的存儲集群；2.這兩個文件系統都存在MasterServer的單點問題（個人認為主從備份並不能從根本上解決這個問題，該問題的解決之道應該是類似 Ceph 多元數據伺服器方式，這方面也是我研究生階段的研究點之一）；3.這兩個文件系統追加寫模式，也就是說，兩者都更加適合「一次寫多次讀」的模式，如果涉及到數據的修改，那麼這個問題就相對比較麻煩了（更好的辦法可以參考Sorrento這個文件系統）；4.由於海量元數據的因素，對待海量小文件都相對比較乏力（更好地解決辦法可以參考Facebook的Haystack）；5.兩者都支持在線擴容。
我們再來看看這兩個分布式文件系統的差異：1.HDFS由Java實現，MooseFS由C++實現；2.HDFS不符合posix語義，MooseFS是完全符合posix語義的，原因在於MooseFS是通過Fuse來通過客戶端介面的（Fuse目前已經是標准內核的一部分了），現有使用本地文件系統的程序可以直接平滑遷移到MooseFS上，無需任何修改，但是MooseFS也付出了相應地開銷：使用HDFS編寫程序時直接使用庫（如libhdfs）就可以跟Master或者ChunkServer通信，請求傳輸更為高效，而MooseFS需要通過標准posix介面將請求發送到內核，再通過Fuse將請求截獲發送到用戶態，然後才能和Master或者ChunkServer通信；3.MooseFS提供了快照功能，HDFS目前還沒有看到這個方面的實際開發行動；4.MooseFS針對小文件和隨機I/O進行了一些優化；
⑦ 七天七文件系統之moosefs
選分布式文件系統就像選一輛車，功能相近（高可用、高性能、高可擴展性），但是總有不一樣的地方。
作為老牌的開源的軟體定義存儲，項目始於2008年，來自歐洲的波蘭華沙。目的是為了解決30W每秒的大數據處理作業。使用C語言開發，目前版本為3.0。設計理念和其他分布式文件系統大同小異。
－ 高可用（High Availability），為數據提供副本，為元數據採用日誌加元數據備份的方式保證數據不丟失。
－ 低開銷的數據安全能力（Low-cost data safety） 在使用冗餘的情況下可以節省55%的空間（這點倒是很有意思）。
－可擴展性（Scalability）可以擴展到16EB，最大存儲20億個文件。
－ 高性能（High performance）能做到數據的並發讀寫。
mfsmaster 負責存儲整個文件系統的元數據。一般元數據會就近存在本地以raid1和raid1+0組成的磁碟。在設計上該服務只是一個單線程，因此需要配備主頻更高的處理核心，而對核心數的要求則相對較低。這里可能存在單點的性能瓶頸。
mfschunkserver負責存儲文件系統的數據，由一組伺服器組成。一般使用JBOD上面做xfs文件系統。在設計的時候數據服務能夠發現底層磁碟出現的問題，將數據復制到其他地方，並將該磁碟設置成損壞。moosefs是不建議底層磁碟採用raid方式，因為它檢測不出raid盤壞，出現了問題。（在使用beegfs底層用raid時就有類似的問題，只有在IO的時候才發現磁碟組有問題，甚是痛苦）
chunkserver的狀態有三種normal/internal rebalance/overloaded。這點和beegfs很像也是三種狀態。三種狀態對應的是所使用磁碟的狀態，normal代表磁碟正常，internal rebalance一般在新的節點加入時出現，之後chunkserver之間會發生數據平衡。overloaded代表此時磁碟負載過重，並會向mfsmaster發出警告消息。
在區分chunkserver時moosefs引入了 label 的概念，給不同的伺服器設置label，並將文件和目錄設置不同的label表達式，達到控制數據流向目的。
mfsmetalogger 負責作為元數據伺服器的備份，定期獲取元數據服務的changelog（也可以理解為journal）和元數據，在mfsmaster出現問題的時候負責接管元數據服務。
mfsmount負責做客戶端工作，同mfsmaster獲得元數據，同mfschunkserver獲得數據。數據塊的最大為64MB。
內部的文件完整性檢查使用hash演算法的方式。
架構設計上lizardfs作為moosefs的一個分支基本是一致的。和HDFS也很神似。
支持節點加入之後的 數據均衡 ，和節點損壞之後的 自動恢復， 自動15分鍾內1TB的恢復能力 。
能夠為不同的 文件以及目錄 選擇數據存儲的節點。
提供 緩存存儲 。它是一個提升性能的手段，使得存儲資源可以合理利用。
介面方面，文件提供的介面兼容 POSIX介面 ，提供原生的客戶端 FUSE和Windows （提供原生客戶端的目的可以考慮功能，但主要是性能方面的要求）。
數據保護方面，底層存儲提供的數據保護，支持 糾刪碼 和默認為 2的數據副本 。
訪問控制方面支持，原生的Unix許可權和訪控列表（ACL）。
支持 快照 ，快照是一些備份機制的基礎。
回收站功能 ，防止數據被誤刪。
提供 基於目錄的配額 。
IO由多線程並發執行。
目前提供兩個版本 普通版 和 專業版。 普通版使用（GPLv2）許可，專業版面向的是企業用戶提供了其他的一些特性（windows客戶端、元數據高可用、以及糾刪碼），這些特性旨在提高系統的穩定性和可靠性。目前現在很多分布式廠商也採用類似的玩法，不如beegfs開源了自己的版本，但在如windows客戶端等一些功能上採用商用的許可證。
宣傳比較多的為大數據提供存儲。多分布在歐洲。
官方網站：https://moosefs.com
⑧ 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展，產生的數據量越來越多，並且這些數據的特點是半結構化和非結構化，數據很可能是不精確的，易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此，目前互聯網行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據為Google論文 Bigtable: A Distributed Storage System for Structured Data開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層採用HDFS作為文件系統，具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢，並且嵌入式文檔和集合也支持索引，它復制能力被稱作復制集（replica set），提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重要的組件：Couchbase伺服器、Couchbase Gateway、Couchbase Lite。Couchbase伺服器，支持橫向擴展，面向文檔的資料庫，支持鍵值操作，類似於SQL查詢和內置的全文搜索;Couchbase Gateway提供了用於RESTful和流式訪問數據的應用層API。Couchbase Lite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於，分布式文件系統隔離底層數據存儲和分布的細節，展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發簡訊、用彩鈴的「老三樣」，移動互聯網的發展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網頁、地圖導航、網上購物、外賣訂餐等，這些業務的海量數據都構建在大規模網路雲資源池之上。當14億中國人把衣食住行搬上移動互聯網的同時，也給網路雲資源池帶來巨大業務挑戰。
首先，用戶需求動態變化，傳統業務流量主要是端到端模式，較為穩定；而互聯網流量易受熱點內容牽引，數據流量流向復雜和規模多變：比如雙十一購物狂潮，電商平台訂單創建峰值達到58.3萬筆，要求通信網路提供高並發支持；又如優酷春節期間有超過23億人次上網刷劇、抖音拜年短視頻增長超10倍，需要通信網路能夠靈活擴充帶寬。面對用戶動態多變的需求，通信網路需要具備快速洞察和響應用戶需求的能力，提供高效、彈性、智能的數據服務。
「隨著通信網路管道十倍百倍加粗、節點數從千萬級逐漸躍升至百億千億級，如何『接得住、存得下』海量數據，成為網路雲資源池建設面臨的巨大考驗」，李輝表示。一直以來，作為新數據存儲首倡者和引領者，浪潮存儲攜手通信行業用戶，不斷 探索 提速通信網路雲基礎設施的各種姿勢。
早在2018年，浪潮存儲就參與了通信行業基礎設施建設，四年內累計交付約5000套存儲產品，涵蓋全快閃記憶體儲、高端存儲、分布式存儲等明星產品。其中在網路雲建設中，浪潮存儲已連續兩年兩次中標全球最大的NFV網路雲項目，其中在網路雲二期建設中，浪潮存儲提供數千節點，為上層網元、應用提供高效數據服務。在最新的NFV三期項目中，浪潮存儲也已中標。
能夠與通信用戶在網路雲建設中多次握手，背後是浪潮存儲的持續技術投入與創新。浪潮存儲6年內投入超30億研發經費，開發了業界首個「多合一」極簡架構的浪潮並行融合存儲系統。此存儲系統能夠統籌管理數千個節點，實現性能、容量線性擴展；同時基於浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調度、智能元數據管理等功能，與自研NVMe SSD快閃記憶體檔進行系統級別聯調優化，讓百萬級IO均衡落盤且路徑更短，將存儲系統性能發揮到極致。
「為了確保全球最大規模的網路雲正常上線運行，我們聯合用戶對存儲集群展開了長達數月的魔鬼測試」，浪潮存儲工程師表示。網路雲的IO以虛擬機數據和上層應用數據為主，浪潮按照每個存儲集群支持15000台虛機進行配置，分別對單卷隨機讀寫、順序寫、混合讀寫以及全系統隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試，達到了通信用戶提出的單卷、系統性能不低於4萬和12萬IOPS、時延小於3ms的要求，產品成熟度得到了驗證。
以通信行業為例，2020年全國移動互聯網接入流量1656億GB，相當於中國14億人每人消耗118GB數據；其中春節期間，移動互聯網更是創下7天消耗36億GB數據流量的記錄，還「捎帶」打了548億分鍾電話、發送212億條簡訊……海量實時數據洪流，在網路雲資源池(NFV)支撐下收放自如，其中分布式存儲平台發揮了作用。如此樣板工程，其巨大示範及拉動作用不言而喻。