分布式文件存儲，NoSQL資料庫，NewSQL資料庫。
分布式文件存儲是一種數據存儲技術，通過網路使用企業中的每台機器上的磁碟空間，並將這些分散的存儲資源構成一個虛擬的存儲設備，數據分散存儲在企業的各個角落。分布式文件存儲採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
NoSQL泛指非關系型的資料庫，NoSQL資料庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題。關系型資料庫已經無法滿足Web2.0的需求，主要表現為：無法滿足海量數據的管理需求、無法滿足數據高並發的需求、高可擴展性和高可用性的功能太低。
NewSQL是各種新的可擴展/高性能資料庫的簡稱，這類資料庫不僅具有NoSQL對海量數據的存儲管理能力，還保持了傳統資料庫支持ACID和SQL等特性。
『貳』 大數據 存儲技術必須跟上
大數據：存儲技術必須跟上
「大數據」 通常指的是那些數量巨大、難於收集、處理、分析的數據集，亦指那些在傳統基礎設施中長期保存的數據。這里的「大」有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業中IT基礎設施的規模。業內對大數據應用寄予了無限的期望 商業信息積累的越多價值也越大 只不過我們需要一個方法把這些價值挖掘出來。
也許人們對大數據的印象主要從存儲容量的廉價性而來，但實際上，企業每天都在創造大量的數據，而且越來越多，而人們正在努力的從浩如煙海的數據中尋覓有價值的商業情報。另一方面，用戶還會保存那些已經分析過的數據，因為這些舊數據可以與未來收集的新數據進行對照，依然有潛在的利用可能。
為什麼要大數據？為什麼是現在？
與以往相比，我們除了有能力存儲更多的數據量之外，還要面對更多的數據類型。這些數據的來源包括網上交易、網路社交活動、自動感測器、移動設備以及科學儀器等等。除了那些固定的數據生產源，各種交易行為還可能加快數據的積累速度。比如說，社交類多媒體數據的爆炸性增長就源於新的網上交易和記錄行為。數據永遠都在增長之中，但是，只有存儲海量數據的能力是不夠的，因為這並不能保證我們能夠成功地從中搜尋出商業價值。
數據是重要的生產要素
信息時代，數據儼然已成為一種重要的生產要素，如同資本、勞動力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限於某些特殊行業的應用。各行各業的公司都在收集並利用大量的數據分析結果，盡可能的降低成本，提高產品質量、提高生產效率以及創造新的產品。例如，通過分析直接從產品測試現場收集的數據，能夠幫助企業改進設計。此外，一家公司還可以通過深入分析客戶行為，對比大量的市場數據，從而超越他的競爭對手。
存儲技術必須跟上
隨著大數據應用的爆發性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的，就這個例子來說，我們很明顯的看到大數據分析應用需求正在影響著數據存儲基礎設施的發展。
從另一方面看，這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。隨著結構化數據和非結構化數據量的持續增長，以及分析數據來源的多樣化，此前存儲系統的設計已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點，他們開始修改基於塊和文件的存儲系統的架構設計以適應這些新的要求。在這里，我們會討論哪些與大數據存儲基礎設施相關的屬性，看看它們如何迎接大數據的挑戰。
容量問題
這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。基於這樣的需求，客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外，內部還具備數據處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。
「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。[page] 延遲問題
「大數據」應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。舉個例子來說，網路成衣銷售行業的在線廣告推廣服務需要實時的對客戶的瀏覽記錄進行分析，並准確的進行廣告投放。這就要求存儲系統在必須能夠支持上述特性同時保持較高的響應速度，因為響應延遲的結果是系統會推送「過期」的廣告內容給客戶。這種場景下，Scale-out架構的存儲系統就可以發揮出優勢，因為它的每一個節點都具有處理和互聯組件，在增加容量的同時處理能力也可以同步增長。而基於對象的存儲系統則能夠支持並發的數據流，從而進一步提高數據吞吐量。
有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
並發訪問 一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
安全問題
某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標准和保密性需求。雖然對於IT管理者來說這些並沒有什麼不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去並不會有這種數據混合訪問的情況，因此大數據應用也催生出一些新的、需要考慮的安全性問題。
成本問題
「大」，也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控製成本，就意味著我們要讓每一台設備都實現更高的「效率」，同時還要減少那些昂貴的部件。目前，像重復數據刪除等技術已經進入到主存儲市場，而且現在還可以處理更多的數據類型，這都可以為大數據存儲應用帶來更多的價值，提升存儲效率。在數據量不斷增長的環境中，通過減少後端存儲的消耗，哪怕只是降低幾個百分點，都能夠獲得明顯的投資回報。此外，自動精簡配置、快照和克隆技術的使用也可以提升存儲的效率。[page] 很多大數據存儲系統都包括歸檔組件，尤其對那些需要分析歷史數據或需要長期保存數據的機構來說，歸檔設備必不可少。從單位容量存儲成本的角度看，磁帶仍然是最經濟的存儲介質，事實上，在許多企業中，使用支持TB級大容量磁帶的歸檔系統仍然是事實上的標准和慣例。
對成本控制影響最大的因素是那些商業化的硬體設備。因此，很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定製他們自己的「硬體平台」而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求，現在越來越多的存儲產品都提供純軟體的形式，可以直接安裝在用戶已有的、通用的或者現成的硬體設備上。此外，很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置，或者與硬體廠商結盟，推出合作型產品。
數據的積累
許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的一部分，而且數據的分析大都是基於時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
靈活性
大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟體一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。
應用感知
最早一批使用大數據的用戶已經開發出了一些針對應用的定製的基礎設施，比如針對政府項目開發的系統，還有大型互聯網服務商創造的專用伺服器等。在主流存儲系統領域，應用感知技術的使用越來越普遍，它也是改善系統效率和性能的重要手段，所以，應用感知技術也應該用在大數據存儲環境里。
小用戶怎麼辦？
依賴大數據的不僅僅是那些特殊的大型用戶群體，作為一種商業需求，小型企業未來也一定會應用到大數據。我們看到，有些存儲廠商已經在開發一些小型的「大數據」存儲系統，主要吸引那些對成本比較敏感的用戶。
『叄』 如何評估大數據應用的存儲系統
但也因為虛擬化的特性，為承載環境中不斷增長的虛擬機，需要擴容存儲以滿足性能與容量的使用需求。IT經理們已經發現，那些因伺服器虛擬化所節省的資金都逐漸投入存儲購買的方案上了。 伺服器虛擬化因虛擬機蔓延、虛擬機中用於備份與災難恢復軟體配置的問題，讓許多組織徹底改變了原有的數據備份與災難恢復策略。EMC、Hitachi Data System、IBM、NetApp和Dell等都致力於伺服器虛擬化存儲問題，提供包括存儲虛擬化、重復數據刪除與自動化精簡配置等解決方案。 伺服器虛擬化存儲問題出現在數據中心虛擬化環境中傳統的物理存儲技術。導致虛擬伺服器蔓延的部分原因，在於虛擬伺服器可能比物理伺服器多消耗約30%左右的磁碟空間。還可能存在虛擬機「I/O 攪拌機」問題：傳統存儲架構無法有效管虛擬機產生的混雜模式隨機I/O。虛擬化環境下的虛擬存儲管理遠比傳統環境復雜——管理虛擬機就意味著管理存儲空間。解決伺服器虛擬化存儲問題 作為一名IT經理，你擁有解決此類伺服器虛擬化存儲問題的幾個選項，我們從一些實用性較低的方案開始介紹。其中一項便是以更慢的速度部署虛擬機。你可以在每台宿主上運行更少的虛擬機，降低「I/O混合器」問題出現的可能性。另外一個方法則是提供額外存儲，但價格不菲。 一個更好的選擇是在采購存儲設備時，選擇更智能的型號並引入諸如存儲虛擬化，重復數據刪除與自動化精簡配置技術。採用這一戰略意味著新技術的應用，建立與新產商的合作關系，例如Vistor、DataCore與FalconStor。將存儲虛擬化作為解決方案 許多分析師與存儲提供商推薦存儲虛擬化，作為伺服器虛擬化存儲問題的解決方案。即使沒有出現問題，存儲虛擬化也可以減少數據中心開支，提高商業靈活性並成為任何私有雲的重要組件之一。 概念上來說，存儲虛擬化類似伺服器虛擬化。將物理存儲系統抽象，隱藏復雜的物理存儲設備。存儲虛擬化將來自於多個網路存儲設備的資源整合為資源池，對外部來說，相當於單個存儲設備，連同虛擬化的磁碟、塊、磁帶系統與文件系統。存儲虛擬化的一個優勢便是該技術可以幫助存儲管理員管理存儲設備，提高執行諸如備份/恢復與歸檔任務的效率。 存儲虛擬化架構維護著一份虛擬磁碟與其他物理存儲的映射表。虛擬存儲軟體層(邏輯抽象層)介於物理存儲系統與運行的虛擬伺服器之間。當虛擬伺服器需要訪問數據時，虛擬存儲抽象層提供虛擬磁碟與物理存儲設備之間的映射，並在主機與物理存儲間傳輸數據。 只要理解了伺服器虛擬化技術，存儲虛擬化的區別僅在於採用怎樣的技術來實現。容易混淆的主要還是在於存儲提供商用於實現存儲虛擬化的不同方式，可能直接通過存儲控制器也可能通過SAN應用程序。同樣的，某些部署存儲虛擬化將命令和數據一起存放(in-band)而其他可能將命令與數據路徑分離(out-of-band)。 存儲虛擬化通過許多技術實現，可以是基於軟體、主機、應用或基於網路的。基於主機的技術提供了一個虛擬化層，並扮演為應用程序提供單獨存儲驅動分區的角色。基於軟體的技術管理著基於存儲網路的硬體設施。基於網路的技術與基於軟體的技術類似，但工作於網路交換層。 存儲虛擬化技術也有一些缺陷。實現基於主機的存儲虛擬化工具實際上就是卷管理器，而且已經流傳了好多年。伺服器上的卷管理器用於配置多個磁碟並將其作為單一資源管理，可以在需要的時候按需分割，但這樣的配置需要在每台伺服器上配置。此解決方式最適合小型系統使用。 基於軟體的技術，每台主機僅需要通過應用軟體查詢是否有存儲單元可用，而軟體將主機需求重定向至存儲單元。因為基於軟體的應用通過同樣的鏈路寫入塊數據與控制信息(metadata)，所以可能存有潛在瓶頸，影響主機數據傳輸的速度。為了降低延遲，應用程序通常需要維護用於讀取與寫入操作的緩存，這也增加了其應用的價格。伺服器虛擬化存儲創新：自動化精簡配置與重復數據刪除 存儲技術的兩個創新，自動化精簡配置與重復數據刪除，同樣是減少伺服器虛擬化環境對存儲容量需求的解決方案。這兩項革新可以與存儲虛擬化結合，以提供牢固可靠的存儲容量控制保障。 自動精簡配置讓存儲「走的更遠」，可減少已分配但沒有使用的容量。其功能在於對數據塊按需分配，而不是對所有容量需求進行預先分配。此方法可以減少幾乎所有空白空間，幫助避免利用率低下的情況出現，通常可以降低10%的磁碟開銷，避免出現分配大量存儲空間給某些獨立伺服器，卻一直沒有使用的情況。 在許多伺服器部署需求中，精簡配置可通過普通存儲資源池提供應用所需的存儲空間。在這樣的條件下，精簡配置可以與存儲虛擬化綜合應用。 重復數據刪除從整體上檢測與刪除位於存儲介質或文件系統中的重復數據。檢測重復數據可在文件、位元組或塊級別進行。重復數據刪除技術通過確定相同的數據段，並通過一份簡單的拷貝替代那些重復數據。例如，文件系統中有一份相同的文檔，在50個文件夾(文件)中，可以通過一份單獨的拷貝與49個鏈接來替代原文件。 重復數據刪除可以應用與伺服器虛擬化環境中以減少存儲需求。每個虛擬伺服器包含在一個文件中，有時文件會變得很大。虛擬伺服器的一個功能便是，系統管理員可以在某些時候停下虛擬機，復制並備份。其可以在之後重啟，恢復上線。這些備份文件存儲於文件伺服器的某處，通常在文件中會有重復數據。沒有重復數據刪除技術支持，很容易使得備份所需的存儲空間急劇增長。改變購買存儲設備的觀念 即使通過存儲虛擬化，重復數據刪除與精簡配置可以緩解存儲數容量增長的速度，組織也可能需要改變其存儲解決方案購買標准。例如，如果你購買的存儲支持重復數據刪除，你可能不再需要配置原先規劃中那麼多的存儲容量。支持自動化精簡配置，存儲容量利用率可以自動提高並接近100%，而不需要管理員費心操作維護。 傳統存儲購買之前，需要評估滿足負載所需的存儲能力基線、三年時間存儲潛在增長率、存儲擴展能力與解決存儲配置文件，還有擬定相關的采購合同。以存儲虛擬化與雲計算的優勢，購買更大容量的傳統存儲將越來越不實際，尤其在預算仍是購買存儲最大的限制的情況下。以下是一些簡單的存儲購買指導： 除非設計中明確說明，不要購買僅能解決單一問題的存儲方案。這樣的做法將導致購買的存儲架構無法與其他系統共享使用。 ·關注那些支持多協議並提供更高靈活性的存儲解決方案。 ·考慮存儲解決方案所能支持的應用/負載范圍。 ·了解能夠解決存儲問題的技術與方案，例如重復數據刪除與自動化精簡配置等。 ·了解可以降低系統管理成本的存儲管理軟體與自動化工具。 許多組織都已經在內部環境中多少實施了伺服器虛擬化，並考慮如何在現有存儲硬體與伺服器上實現私有雲。存儲預算應用於購買合適的硬體或軟體，這點十分重要。不要將僅將注意力集中在低價格上。相反，以業務問題為出發點，提供解決問題最有價值的存儲解決方案才是王道。
『肆』 大數據存儲需要具備什麼
大數據存儲作為一個數據平台，其並不僅僅是一個用於數據存儲的設備，其需要能夠提供符合成本效益的規模和能力，消除數據遷移，沒有存儲孤島，提供全局可訪問的數據保護和保持數據的可用性。
1.提供符合成本效益的規模和能力，不僅需要購買行業標準的伺服器和存儲產品，同時還要保證產品的擴展能力和性能。而且隨著硬體的推移，能夠根據需要進行擴展，存儲系統需要鏈鄭敗圓能夠持續保證企業的需求，通過增加存儲系統來維持數據增長的性能需求。
2.消除數據棚枯頌遷移，大數據平台必須滿足數據增長而不會受到系統約束的能力。
3.拒絕存儲孤島，為了能夠充分利用大數據的機會，企業必須能夠訪問所有的數據，要實現這一點，新的存儲平台必須能夠滿足這個要求，消除那些傳統的存儲孤島，而不是簡單的添加另一個存儲解決方案。
4.提供全局管理方式，一個集中的數據管理方式在大數據增長迅速的年代已經是不可行的了，一個單點故障的成本會很高，一個大數據存儲平台必須能夠管理分布在全球企業中的數據。
5.保護和維護數據的可用性，數據價值越來越重要，為了防止企業級的產品硬體發生故障，存儲平台必須通過智能軟體來保持數據的可用性和完整性。
『伍』 大數據存儲需要具備什麼
大數據之大 大是相對而言的概念。例如，對於像那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。 大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB內外部附加存儲的能力。當時，大多數人認為，USP的存儲容量大得有些離譜。但是現在，大多數企業都已經擁有PB級的數據量，一些搜索引擎公司的數據存儲量甚至達到了EB級。由於許多家庭都保存了TB級的數據量，一些雲計算公司正在推廣其文件共享或家庭數據備份服務。有容乃大 由此看來，大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處於PB級時代，而EB級時代即將到來。過去，許多企業通常以五年作為IT系統規劃的一個周期。在這五年中，企業的存儲容量可能會增加一倍。現在，企業則需要制定存儲數據量級（比如從PB級到EB級）的增長計劃，只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲，用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平台上。當所有存儲資產變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下，用戶可以輕松實現容量回收和容量利用率的最大化，並延長現有存儲系統的壽命，顯著提高IT系統的靈活性和效率，以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB，並可通過動態虛擬控制器實現系統的快速預配置。此外，通過HDSVSP的虛擬化功能，大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長，未來，文件與內容數據又該如何進行擴展呢？不斷生長的大數據 與結構化數據不同，很多非結構化數據需要通過互聯網協議來訪問，並且存儲在文件或內容平台之中。大多數文件與內容平台的存儲容量過去只能達到TB級，現在則需要擴展到PB級，而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基於Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身，而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限，導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基於對象的文件系統，使得其容量能夠擴展到PB級，可以容納數十億個文件或對象。位於VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性，而且可以享受到通用管理平台HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優良的架構。大數據存儲平台必須能夠不受干擾地持續擴展，並具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行，而且要在後台完成。大數據只要復制一次，就能具有很好的可恢復性。大數據存儲平台可以通過版本控制來跟蹤數據的變更，而不會因為大數據發生一次變更，就重新備份一次所有的數據。HDS的所有產品均可以實現後台的數據移動和分層，並可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量，還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平台還必須具有彈性，不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗餘配置，並能為HNAS和HCP節點提供相同的彈性。
『陸』 如何架構大數據系統hadoop
大數據數量龐大，格式多樣化。
大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。
它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的數據管理問題。
因此必須開發新的數據架構，圍繞「數據收集、數據管理、數據分析、知識形成、智慧行動」的全過程，開發使用這些數據，釋放出更多數據的隱藏價值。
一、大數據建設思路
1）數據的獲得
大數據產生的根本原因在於感知式系統的廣泛使用。
隨著技術的發展，人們已經有能力製造極其微小的帶有處理功能的感測器，並開始將這些設備廣泛的布置於社會的各個角落，通過這些設備來對整個社會的運轉進行監控。
這些設備會源源不斷的產生新數據，這種數據的產生方式是自動的。
因此在數據收集方面，要對來自網路包括物聯網、社交網路和機構信息系統的數據附上時空標志，去偽存真，盡可能收集異源甚至是異構的數據，必要時還可與歷史數據對照，多角度驗證數據的全面性和可信性。
2）數據的匯集和存儲
互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果你真的想做，可以來這里，這個手機的開始數字是一八七中間的是三兒零最後的是一四二五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了
數據只有不斷流動和充分共享，才有生命力。
應在各專用資料庫建設的基礎上，通過數據集成，實現各級各類信息系統的數據交換和數據共享。
數據存儲要達到低成本、低能耗、高可靠性目標，通常要用到冗餘配置、分布化和雲計算技術，在存儲時要按照一定規則對數據進行分類，通過過濾和去重，減少存儲量，同時加入便於日後檢索的標簽。
3）數據的管理
大數據管理的技術也層出不窮。
在眾多技術中，有6種數據管理技術普遍被關注，即分布式存儲與計算、內存資料庫技術、列式資料庫技術、雲資料庫、非關系型的資料庫、移動資料庫技術。
其中分布式存儲與計算受關注度最高。
上圖是一個圖書數據管理系統。
4）數據的分析
數據分析處理：有些行業的數據涉及上百個參數，其復雜性不僅體現在數據樣本本身，更體現在多源異構、多實體和多空間之間的交互動態性，難以用傳統的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數據降維後度量與處理，利用上下文關聯進行語義分析，從大量動態而且可能是模稜兩可的數據中綜合信息，並導出可理解的內容。
大數據的處理類型很多，主要的處理模式可以分為流處理和批處理兩種。
批處理是先存儲後處理，而流處理則是直接處理數據。
挖掘的任務主要是關聯分析、聚類分析、分類、預測、時序模式和偏差分析等。
5）大數據的價值：決策支持系統
大數據的神奇之處就是通過對過去和現在的數據進行分析，它能夠精確預測未來；通過對組織內部的和外部的數據整合，它能夠洞察事物之間的相關關系；通過對海量數據的挖掘，它能夠代替人腦，承擔起企業和社會管理的職責。
6）數據的使用
大數據有三層內涵：一是數據量巨大、來源多樣和類型多樣的數據集；二是新型的數據處理和分析技術；三是運用數據分析形成價值。
大數據對科學研究、經濟建設、社會發展和文化生活等各個領域正在產生革命性的影響。
大數據應用的關鍵，也是其必要條件，就在於"IT"與"經營"的融合，當然，這里的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。
二、大數據基本架構
基於上述大數據的特徵，通過傳統IT技術存儲和處理大數據成本高昂。
一個企業要大力發展大數據應用首先需要解決兩個問題：一是低成本、快速地對海量、多類別的數據進行抽取和存儲；二是使用新的技術對數據進行分析和挖掘，為企業創造價值。
因此，大數據的存儲和處理與雲計算技術密不可分，在當前的技術條件下，基於廉價硬體的分布式系統（如Hadoop等）被認為是最適合處理大數據的技術平台。
Hadoop是一個分布式的基礎架構，能夠讓用戶方便高效地利用運算資源和處理海量數據，目前已在很多大型互聯網企業得到了廣泛應用，如亞馬遜、Facebook和Yahoo等。
其是一個開放式的架構，架構成員也在不斷擴充完善中，通常架構如圖2所示：
Hadoop體系架構
（1）Hadoop最底層是一個HDFS（Hadoop Distributed File System，分布式文件系統），存儲在HDFS中的文件先被分成塊，然後再將這些塊復制到多個主機中（DataNode，數據節點）。
（2）Hadoop的核心是MapRece（映射和化簡編程模型）引擎，Map意為將單個任務分解為多個，而Rece則意為將分解後的多任務結果匯總，該引擎由JobTrackers（工作追蹤，對應命名節點）和TaskTrackers（任務追蹤，對應數據節點）組成。
當處理大數據查詢時，MapRece會將任務分解在多個節點處理，從而提高了數據處理的效率，避免了單機性能瓶頸限制。
（3）Hive是Hadoop架構中的數據倉庫，主要用於靜態的結構以及需要經常分析的工作。
Hbase主要作為面向列的資料庫運行在HDFS上，可存儲PB級的數據。
Hbase利用MapRece來處理內部的海量數據，並能在海量數據中定位所需的數據且訪問它。
（4）Sqoop是為數據的互操作性而設計，可以從關系資料庫導入數據到Hadoop，並能直接導入到HDFS或Hive。
（5）Zookeeper在Hadoop架構中負責應用程序的協調工作，以保持Hadoop集群內的同步工作。
（6）Thrift是一個軟體框架，用來進行可擴展且跨語言的服務的開發，最初由Facebook開發，是構建在各種編程語言間無縫結合的、高效的服務。
Hadoop核心設計
Hbase——分布式數據存儲系統
Client：使用HBase RPC機制與HMaster和HRegionServer進行通信
Zookeeper：協同服務管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況
HMaster: 管理用戶對表的增刪改查操作
HRegionServer：HBase中最核心的模塊，主要負責響應用戶I/O請求，向HDFS文件系統中讀寫數據
HRegion:Hbase中分布式存儲的最小單元，可以理解成一個Table
HStore：HBase存儲的核心。
由MemStore和StoreFile組成。
HLog：每次用戶操作寫入Memstore的同時，也會寫一份數據到HLog文件
結合上述Hadoop架構功能，大數據平台系統功能建議如圖所示：
應用系統：對於大多數企業而言，運營領域的應用是大數據最核心的應用，之前企業主要使用來自生產經營中的各種報表數據，但隨著大數據時代的到來，來自於互聯網、物聯網、各種感測器的海量數據撲面而至。
於是，一些企業開始挖掘和利用這些數據，來推動運營效率的提升。
數據平台：藉助大數據平台，未來的互聯網路將可以讓商家更了解消費者的使用**慣，從而改進使用體驗。
基於大數據基礎上的相應分析，能夠更有針對性的改進用戶體驗，同時挖掘新的商業機會。
數據源：數據源是指資料庫應用程序所使用的資料庫或者資料庫伺服器。
豐富的數據源是大數據產業發展的前提。
數據源在不斷拓展，越來越多樣化。
如：智能汽車可以把動態行駛過程變成數據，嵌入到生產設備里的物聯網可以把生產過程和設備動態狀況變成數據。
對數據源的不斷拓展不僅能帶來採集設備的發展，而且可以通過控制新的數據源更好地控制數據的價值。
然而我國數字化的數據資源總量遠遠低於美歐，就已有有限的數據資源來說，還存在標准化、准確性、完整性低，利用價值不高的情況，這**降低了數據的價值。
三、大數據的目標效果
通過大數據的引入和部署，可以達到如下效果：
1）數據整合
·統一數據模型：承載企業數據模型，促進企業各域數據邏輯模型的統一；
·統一數據標准：統一建立標準的數據編碼目錄，實現企業數據的標准化與統一存儲；
·統一數據視圖：實現統一數據視圖，使企業在客戶、產品和資源等視角獲取到一致的信息。
2）數據質量管控
·數據質量校驗：根據規則對所存儲的數據進行一致性、完整性和准確性的校驗，保證數據的一致性、完整性和准確性；
·數據質量管控：通過建立企業數據的質量標准、數據管控的組織、數據管控的流程，對數據質量進行統一管控，以達到數據質量逐步完善。
3）數據共享
·消除網狀介面，建立大數據共享中心，為各業務系統提供共享數據，降低介面復雜度，提高系統間介面效率與質量；
·以實時或准實時的方式將整合或計算好的數據向外系統提供。
4）數據應用
·查詢應用：平台實現條件不固定、不可預見、格式靈活的按需查詢功能；
·固定報表應用：視統計維度和指標固定的分析結果的展示，可根據業務系統的需求，分析產生各種業務報表數據等；
·動態分析應用：按關心的維度和指標對數據進行主題性的分析，動態分析應用中維度和指標不固定。
四、總結
基於分布式技術構建的大數據平台能夠有效降低數據存儲成本，提升數據分析處理效率，並具備海量數據、高並發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。
『柒』 大數據常用哪些資料庫(什麼是大資料庫)
通常資料庫分為關系型資料庫和非關系型資料庫，關系型資料庫的優勢到現在也是無可替代的，比如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Aess等等資料庫，這些數據納卜庫支持復雜的SQL操作和事務機制，適合小量數據讀寫場景；但是到了大數據時代，人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。
大數據時代初期，隨著數據請求並發量大不斷增大，一般都是採用的集群同虧搭步數據的方式處理，就是將資料庫分成了很多的小庫，每個資料庫的數據內容是不變的，都是保存了源資料庫的數據副本，通過同步或者非同步方式保證數據的一致性，每個庫設定特定的讀寫方式，比如主資料庫負責寫操作，從資料庫是負責讀操作，等等根據業務復雜程度以此類推，將業務在物理層面上進行了分離，但是這種方式依舊存在一定的負載壓力的問題，企業數據在不斷的擴增中，後面就採用分庫分表的方式解決，對讀寫負載進行分離，但是這種實現依舊存在不足，且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型
1、列族資料庫：BigTable、HBase、Cassandra、AmazonSimpleDB、HadoopDB等，下面簡單介紹幾個
（1）Cassandra：Cassandra是一個列存儲資料庫，支持跨數據中心的數據復制。它的數據模型提供列索引，log-structured修改，支持反規范化，實體化視圖和嵌入超高速緩存。
（2）HBase：ApacheHbase源於Google的Bigtable，是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一銷茄拿樣的功能。
（3）AmazonSimpleDB：AmazonSimpleDB是一個非關系型數據存儲，它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項
（4）ApacheAumulo：ApacheAumulo的有序的、分布式鍵值數據存儲，基於Google的BigTable設計，建立在ApacheHadoop、Zookeeper和Thrift技術之上。
（5）Hypertable：Hypertable是一個開源、可擴展的資料庫，模仿Bigtable，支持分片。
（6）AzureTables：為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別，能通過REST和ManagedAPI訪問。
2、鍵值資料庫：Redis、SimpleDB、Scalaris、Memcached等，下面簡單介紹幾個
（1）Riak：Riak是一個開源，分布式鍵值資料庫，支持數據復制和容錯。（2）Redis：Redis是一個開源的鍵值存儲。支持主從式復制、事務，Pub/Sub、Lua腳本，還支持給Key添加時限。
（3）Dynamo：Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現；在亞馬遜S3產品中使用。
（4）OracleNoSQLDatabase：來自Oracle的鍵值NoSQL資料庫。它支持事務ACID（原子性、一致性、持久性和獨立性）和JSON。
（5）OracleNoSQLDatabase：具備數據備份和分布式鍵值存儲系統。
（6）Voldemort：具備數據備份和分布式鍵值存儲系統。
（7）Aerospike：Aerospike資料庫是一個鍵值存儲，支持混合內存架構，通過強一致性和可調一致性保證數據的完整性。
3、文檔資料庫：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面簡單介紹幾個
（1）MongoDB：開源、面向文檔，也是當下最人氣的NoSQL資料庫。
（2）CounchDB：ApacheCounchDB是一個使用JSON的文檔資料庫，使用Javascript做MapRece查詢，以及一個使用HTTP的API。
（3）Couchbase：NoSQL文檔資料庫基於JSON模型。
（4）RavenDB：RavenDB是一個基於.NET語言的面向文檔資料庫。
（5）MarkLogic：MarkLogicNoSQL資料庫用來存儲基於XML和以文檔為中心的信息，支持靈活的模式。
4、圖資料庫：Neo4J、InfoGrid、OrientDB、GraphDB，下面簡單介紹幾個
（1）Neo4j：Neo4j是一個圖資料庫；支持ACID事務（原子性、獨立性、持久性和一致性）。
（2）：一個圖資料庫用來維持和遍歷對象間的關系，支持分布式數據存儲。
（3）：是結合使用了內存和磁碟，提供了高可擴展性，支持SPARQ、RDFS和Prolog推理。
5、內存數據網格：Hazelcast、OracleCoherence、TerracottaBigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面簡單介紹幾個
（1）Hazelcast：HazelcastCE是一個開源數據分布平台，它允許開發者在資料庫集群之上共享和分割數據。
（2）OracleCoherence：Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力，一致性支持事務處理能力和數據的動態劃分。
（3）TerracottaBigMemory：來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。
（4）GemFire：VmwarevFabricGemFire是一個分布式數據管理平台，也是一個分布式的數據網格平台，支持內存數據管理、復制、劃分、數據識別路由和連續查詢。
（5）Infinispan：Infinispan是一個基於Java的開源鍵值NoSQL數據存儲，和分布式數據節點平台，支持事務，peer-to-peer及client/server架構。
（6）GridGain：分布式、面向對象、基於內存、SQLNoSQL鍵值資料庫。支持ACID事務。
（7）GigaSpaces：GigaSpaces內存數據網格能夠充當應用的記錄系統，並支持各種各樣的高速緩存場景。