開源企業存儲系統

A. 目前國內有公司在使用開源的ceph分布式存儲系統嗎

有，我知道的使用ceph的公司主要有元核雲、XSky、杉岩數據等，其他的華為雲、深信服等公司也有分布式存儲，不過不知道是不是基於ceph的。

B. 分布式存儲排名前十名有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表，並隨後貢獻給開源社區。經過多年的發展之後，已得到眾多雲計算和存儲廠商的支持，成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統，是專為存儲海量搜索數據而設計的，2003年提出，是閉源的分布式文件系統。適用於大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續穩定帶寬，而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統，是Hadoop的核心子項目，是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS)，是GFS的一個簡化和開源版本。

C. 有沒有用Java寫的輕量級開源的分布式存儲系統

以下內容源於分布式內存文件系統：Tachyon 14年9月的文章
Tachyon是一個分布式內存文件系統，可以在集群里以訪問內存的速度來訪問存在tachyon里的文件。把Tachyon是架構在最底層的分布式文件存儲和上層的各種計算框架之間的一種中間件。主要職責是將那些不需要落地到DFS里的文件，落地到分布式內存文件系統中，來達到共享內存，從而提高效率。同時可以減少內存冗餘，GC時間等。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="810" data-rawheight="311" class="origin_image zh-lightbox-thumb" width="810" data-original="https://pic3.mg.com/_r.png">
Tachyon架構
Tachyon的架構是傳統的Master—slave架構，這里和Hadoop類似，TachyonMaster里WorkflowManager是 Master進程，因為是為了防止單點問題，通過Zookeeper做了HA，可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk構成。這里個人理解只有Worker Daemon是基於JVM的，Ramdisk是一個off heap memory。Master和Worker直接的通訊協議是Thrift。
下圖來自Tachyon的作者Haoyuan Li：
<img src="https://pic4.mg.com/_b.png" data-rawwidth="854" data-rawheight="571" class="origin_image zh-lightbox-thumb" width="854" data-original="https://pic4.mg.com/_r.png">
三、Fault Tolerant
Tachyon是一個分布式文件存儲系統，但是如果Tachyon里的容錯機制是怎麼樣的呢？
Tachyon使用血統這個我們在Spark里的RDD里已經很熟悉了，這里也有血統這一概念。會使用血統，通過非同步的向Tachyon的底層文件系統做Checkpoint。
當我們向Tachyon裡面寫入文件的時候，Tachyon會在後台非同步的把這個文件給checkpoint到它的底層存儲，比如HDFS，S3.. etc...
這里用到了一個Edge的演算法，來決定checkpoint的順序。
比較好的策略是每次當前一個checkpoint完成之後，就會checkpoint一個最新生成的文件。當然想Hadoop，Hive這樣的中間文件，需要刪除的，是不需要checkpoint的。
下圖來自Tachyon的作者Haoyuan Li：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="822" data-rawheight="609" class="origin_image zh-lightbox-thumb" width="822" data-original="https://pic1.mg.com/_r.png">

關於重新計算時，資源的分配策略：
目前Tachyon支持2種資源分配策略：
1、優先順序的資源分配策略
2、公平調度的分配策略
<img src="https://pic2.mg.com/_b.png" data-rawwidth="940" data-rawheight="621" class="origin_image zh-lightbox-thumb" width="940" data-original="https://pic2.mg.com/_r.png">

四、總結
Tachyon是一個基於內存的分布式文件系統，通常位於分布式存儲系統和計算框架直接，可以在不同框架內共享內存，同時可以減少內存冗餘和基於Jvm內存計算框架的GC時間。
Tachyon也有類似RDD的血統概念，input文件和output文件都是會有血統關系，這樣來達到容錯。並且Tachyon也利用血統關系，非同步的做checkpoint，文件丟失情況下，也能利用兩種資源分配策略來優先計算丟失掉的資源。

D. 如何建立單位內部雲存儲伺服器

企業搭建雲存儲伺服器的流程為：伺服器搭建環境測試、下載管理系統軟體、激活、後台設置好相應配置，引導企業員工下載等系列流程。

億萬克是研祥高科技控股集團旗下全資子公司。研祥集團作為中國企業500強，持續運營30年。研祥集團全球49個分支機構，三個國家級創新平台，一直致力於技術創新引領行業發展，擁有超1100項授權專利，超1300項非專利核心技術。此系列性能穩定高效、智能環境感知、綠色節能、配置靈活等優勢，擁有卓越而優異的整機性能輸出，在足量的整機性能與經濟實惠之間實現優良的平衡，為數據中心提供實用的高性能、低成本、高密度的解決方案，適用於企業虛擬化、IT核心業務、分布式存儲、電信通訊及其他復雜工作負載等寬口徑業務用途。【感興趣請點擊此處，了解一下。 】

E. 有沒有用Java寫的輕量級開源的分布式存儲系統

1、jmeter的架構和loadrunner原理一樣，都是通過中間代理，監控和收集並發客戶端發出的指令，把他們生成腳本，再發送到應用伺服器，再監控伺服器反饋結果的一個過程；
2、分布式中間代理功能在jmeter中也有，這個分頁式代理是指可設置多台代理在不同PC中，通過遠程進行控制，即通過使用多台機器運行的謂的agant來分擔load generator自身的壓力，並借引來獲取更大的並發用戶數，loadrunner也有此功能；
3、jmeter安裝簡單，只需要解壓jmeter文件包到C盤上就可以了，不用安裝，要是你想執行調試測試腳本，前提是：裝上jdk和netbean插件，而loadrunner安裝包有1G多，在一台P3.0,1G內存的PC上安裝要一個多小時，要是裝過舊的盜版還不能再裝新版，解決辦法倒是有，但麻煩且花時間；
4、Jmeter沒有IP欺騙功能，IP欺騙是指在一台PC上多個IP地址分配給並發用戶，這個功能對於模擬較真實的用戶環境來說，是較有用，loadrunner有此功能；
5、jmeter也提供了一個利用本地proxy server(代理伺服器)來錄制生成測試腳本的功能，但是這個功能並不好用，測試對象的個別參數要手工增加上去，還得附帶裝個IE代理，如 GoogleToolbarDownloader這些插件來捕捉參數，但是有一個工具badbody,利用這個工具可以錄制操作，然後選擇將腳本保存為jmeter腳本，然後利用jmeter可以打開並修改腳本；
6、Jmeter的報表較少，對於要分析測試性能不足作為依據。如要知道資料庫伺服器或應用程序服務的cpu,money等參數，還得在相關伺服器上另外寫腳本記錄伺服器的性能；
7、jmeter做性能測試，主要是通過增加線程的數目，或者是設置循環次數來增加並發用戶，而loadrunner可以通過在場景中選擇要設置什麼樣的場景，然後選擇虛擬用戶數；
8、jmeter可以通過邏輯控制器實現復雜的測試行為，相當於loadrunner中的測試場景；
9、jmeter可以做web程序的功能測試，利用jmeter中的樣本，可以做灰盒測試，loadrunner主要用來做性能測試；
10、jmeter是開源的，但是使用的人較少，網路上相關資料不全面，需要自己去揣摩，而loadrunner是商業軟體，如果是正版本，有技術支持，同時，網路上的資料相當多；
11、Jmeter的腳本修改，主要是針對jmeter中各個部件的熟悉程序，已經相關的一些協議的掌握情況，而不依賴於編程，而loadrunner除了復雜的場景設置外，還需要掌握函數，修改腳本。

F. 如何搭建私有雲存儲

虛擬化技術在企業私有雲IT基礎架構中仍然占據重要地位，同時，為了進一步提升應用效率，越來越多的生產環境也正在逐步變革，從以虛擬機為中心的架構向以容器和微服務為中心的雲原生架構過渡，在這個過程中，存儲如何有效支撐各種雲主機應用與微服務應用，對於企業的私有雲數據中心提出了新的挑戰。

企業面臨的問題

存儲設施七國八制，硬體鎖定缺少彈性

多種雲平台對於存儲的要求各不相同，塊/文件/對象存儲對應不同類型的應用，對外提供不同的服務介面，一種存儲設備無法滿足多種類型的雲平台存儲需求，而且傳統存儲在擴展性方面不能滿足雲時代大規模雲平台對存儲在線彈性擴容的需求，在可維護性方面則面臨硬體架構綁定、運維復雜、難以維保等問題，而且這些問題會隨著存儲設備種類和數量的增多進一步放大。

業務調度變更頻繁，資源不能共享

隨著開發測試虛擬機以及容器、微服務平台在企業私有雲平台的上線，大型企業的應用快速迭代、頻繁發布對存儲系統的支撐提出了嚴峻挑戰，不同業務的數據保存在不同廠商的存儲設備中，數據流動性差，不僅導致存儲空間及性能資源浪費嚴重，數據災備方案也很難統一化。

開源產品難以維護，不能實現企業級產品化

基於開源虛擬化技術的雲平台如OpenStack為眾多客戶提供了快速構建私有雲基礎設施的能力，但是存儲部分卻不一樣，開源的存儲系統如Ceph雖然可以小規模部署試用， 但在大規模商用時會遇到很多問題：與硬體和企業級應用生態融合程度不高，嚴重依賴人工開發運維，在性能和服務質量方面不能滿足核心業務的需求

杉岩私有雲存儲解決方案

杉岩私有雲存儲解決方案充分發揮了杉岩統一存儲平台（USP）的雲適配、開放等優勢，支持各種復雜的應用負載，可靈活支撐私有雲的虛擬化平台，如VMware、Citrix、OpenStack等虛擬化和雲平台，以及通過Kubernetes軟體一致性認證的所有容器雲平台，如：Rancher、Openshift、Kubernetes等。

通過杉岩統一存儲平台，用戶可快速構建能夠兼容所有主流虛擬化平台與容器微服務平台的統一存儲資源池，面對各種虛擬機和微服務需求，池化的存儲平台為大規模雲環境提供了可靠的存儲基礎架構支撐，幫助用戶從紛繁復雜的基礎架構運維工作中解放出來，更關注於私有雲上運行的業務本身。

客戶價值

資源整合，鏈接企業信息孤島

單資源池提供塊、文件、對象多種存儲服務，支持虛擬化平台和資料庫應用；強大的存儲資源生命周期管理能力，跨雲平台在線遷移數據，實現數據共享和提高資源利用率；存儲卷QoS等級和性能優先順序在線調整，可根據企業資源和業務需求合理配置資源。

開放兼容，適配多種私有雲平台

通過VMware VAAI和Citrix Ready認證，針對主流虛擬化平台優化I/O性能，大幅提升虛擬機訪問的性能。通過OpenStack Cinder認證，可提供塊和對象存儲基礎架構支撐支持容器平台CSI介面認證，為Kubernetes生態的容器應用提供塊和文件存儲服務。

智能管理，解決規模化運維難題

向導式安裝部署和自助擴容配置，極大提升易用性和可維護性，管理自動化降低運維成本；針對大規模集群優化的可靠性管理，檢測和修復硬碟軟錯誤的專利技術，節約用戶硬體投資。存儲視角的管理功能，可視化展示主機、容器與存儲的映射關系和性能監控協助管理員快速定位和解決問題。

G. 企業文件存儲系統

我總結一下市面上常見的文檔管理功能有：
1、歷史版本管理：每次修改都會自動添內加一個歷史版容本，所以看到的永遠是最新版本，也可以回滾至某個歷史版本。
2、簽入簽出管理：要編輯一個文檔必須先簽出，同一時間只能被一個用戶簽出，避免了多人同時修改產生混亂的問題。
3、許可權控制：可以基於每個文檔或者某一類文檔進行許可權控制。
4、文檔模板管理：可以自定義模板並保存在系統中。下次新建的時候可以選擇合適的模板。
我們對比了天翎、致遠、泛微這三個產品，各有各的優勢，又有一些不得不存在的小缺陷，天翎基本符合要求，有本地部署和雲部署，但是有點貴；致遠只能雲部署，泛微頁面精美，但是操作不夠流暢，三家廠商都可以免費體驗，這些都是我個人的使用感，試用過後才能知道哪個適合。

H. 對象存儲系統底層基於什麼系統來存取數據

記得在一篇介紹對象存儲的文章開頭這樣寫道「那些沒有為資料庫或文件系統寫過代碼的上了年紀的程序員應該不太可能會讀這篇文章。畢竟，一般商業應用程序訪問其他數據類型的模式已經存在超過 40年了。」 言下之意，對象存儲代表了新時代下的新型數據結構類型，但是對象存儲的出現也與存儲發展的歷史密不可分。在Web2.0、雲和數字內容爆發的時代，類似數字視頻和移動網路之類事物的增長，產生了極大量的非結構化數據。存儲廠商也推出了新的基於對象的存儲系統，從而來提供更加簡單的管理和具有更佳擴展性的元數據格式。相比傳統存儲，對象存儲的關鍵優勢在於其簡單性。由於對象存儲不依賴於LUNs和卷，因此新的存儲容量可以通過簡單配置加入到運行系統中，實現橫向擴展( scale-out)。 對象存儲與Hadoop 雲存儲 目前，對象存儲的規模部署則由雲服務所引領，如亞馬遜 S3、Facebook。現在，無論成熟廠商還是新興廠商的對象存儲解決方案都已達到相當的成熟度，因而IT部門開始考慮如何在自己企業中實現對象存儲。除了面向對象的存儲，還有基於Hadoop的雲存儲。中國惠普雲計算事業部高級產品經理呂洪在近期的視頻訪談中提到：「對於那些要求訪問控制的應用，對象存儲系統是個不錯的選擇，而用雲進行大數據分析的則要考慮Hadoop。」 對象存儲系統可以在一個持久穩固且高度可用的系統中存儲任意的對象，且獨立於虛擬機實例之外。應用和用戶可以在對象存儲中使用簡單的API訪問數據;這些通常都基於REST架構，但是也有面向編程語言的界面。 同時，需要在雲端進行大數據分析的用戶則可以考慮Hadoop雲存儲，比如AWS提供了彈性Map Rece (EMR)。雲存儲選擇適用於廣泛的需求，但是要針對你的需求找到正確的存儲類型，也意味著要找到延遲、易用性、數據完整性和成本之間的合適的平衡點。 對象存儲數據遷移和訪問 企業對存儲的訴求有一定的延續性，但其訪問的介質不外乎是主機、PC、移動端以及應用，針對不同的訪問介質來看，面向對象存儲的解決方案也有所不同。比如微信，我們可以在微信中上傳和訪問照片、視頻等內容，這是一種面向對象數據的訪問和存儲方式;然而如果應用軟體不支持HTTP下REST API的方式，需要以傳統文件伺服器協議的方式訪問，則需要在面向存儲對象前面加一個網關進行協議的轉換。 沒有了文件存儲系統中的NFS或CIFS來給應用提供數據，面向對象的存儲系統需要替換掉位於磁碟上的原始數據塊和應用可以理解的文件之間的這個抽象層。現在的面向對象的系統使用類似REST標準的API或者私有的API來告訴應用如何存儲和讀取對象標識。 總體而言，對於面向對象的存儲的操作的本質並不會改變。呂洪介紹：「比如我們熟悉的開源對象存儲系統OpenStack Swift。基本上就是POST，GET ，PUT和 DELETE操作，如果你需要上傳大量的數據，則需要編寫一個腳本就可以實現。」 惠普的對象存儲創新 OpenStack Swift是一種開源的對象存儲系統，以一種既滿足了存儲數據服務等級要求且經濟的方式實現。從高可用性以及安全穩定的角度上看，目前開源Swift並不如傳統廠商做的好，但是卻可以通過標準的伺服器，集合Swift搭建出一個能用且經濟的方案。 但是傳統廠商有自己的優勢，從對象存儲的設計結構來看分為三層，底層硬體基礎架構用來承載數據，在此之上則是面向對象的管理軟體，也就是系統層，最頂層為介面層，也就是用戶通過何種方式來存取數據。呂洪表示：「在這三個層次上面惠普的解決方案都有涉及。」 眾所周知，惠普一直以來都在基於OpenStack進行持續研發，推出更加符合企業級用戶要求的解決方案。此外，惠普實驗室中也在基於ProLiant x86伺服器，力求為swift尋找到一種更經濟的承載方式。惠普基於OpenStack Swift構建的Helion Content Depot則是第一款集成化的完整對象存儲解決方案，針對橫向擴展的對象存儲，提供當今企業存儲系統所需的高度可擴展性、易管理性、恢復能力和安全性。 呂洪提到：「預期不久的將來，惠普則會正式推出專門針對大數據的面相對象存儲的伺服器阿波羅4510。」據了解，阿波羅4510的一個機櫃中可以提供5.4PB的容量，這是在目前整個行業中，單機櫃容量最大的存儲解決方案。 除此之外，惠普還提供了面相對象存儲的數據加密工作，一部分確保用戶的數據在傳輸過程中是加密的，另一方面也首創硬體的加密，確保對象存儲數據的安全性。

I. Ceph為什麼越來越火國內使用ceph較為成功的存儲廠商有哪些

Ceph是當前非常流行的開源分布式存儲系統，具有高擴展性、高性能、高可靠性等優點，同時提供塊存儲服務(rbd)、對象存儲服務(rgw)以及文件系統存儲服務(cephfs)。目前也是OpenStack的主流後端存儲，隨著OpenStack在雲計算領域的廣泛使用，ceph也變得更加炙手可熱。國內目前使用ceph搭建分布式存儲系統較為成功的企業有x-sky,深圳元核雲，上海UCloud等三家企業。

J. 有沒有用Java寫的輕量級開源的分布式存儲系統

一個輕量級分布式KV存儲系統。 如果用K記錄文件路徑和文件名，用V記錄文件內容，就是一個輕量級分布式小文件系統。至於大文件，幾乎一定是HDFS這種有元數據服務中心（NameNode）架構的。