大數據分布式資料庫

① 分布式資料庫的簡介

分布式資料庫是指利用高速計算機網路將物理上分散的多個數據存儲單元連接起來組成一個邏輯上統一的資料庫。分布式資料庫的基本思想是將原來集中式資料庫中的數據分散存儲到多個通過網路連接的數據存儲節點上，以獲取更大的存儲容量和更高的並發訪問量。近年來，隨著數據量的高速增長，分布式資料庫技術也得到了快速的發展，傳統的關系型資料庫開始從集中式模型向分布式架構發展，基於關系型的分布式資料庫在保留了傳統資料庫的數據模型和基本特徵下，從集中式存儲走向分布式存儲，從集中式計算走向分布式計算。
另一方面，隨著數據量越來越大，關系型資料庫開始暴露出一些難以克服的缺點，以NoSQL 為代表的非關系型資料庫，其高可擴展性、高並發性等優勢出現了快速發展，一時間市場上出現了大量的key-value 存儲系統、文檔型資料庫等NoSQL 資料庫產品。NoSQL 類型資料庫正日漸成為大數據時代下分布式資料庫領域的主力。
這種組織資料庫的方法克服了物理中心資料庫組織的弱點。 首先，降低了數據傳送代價，因為大多數的對資料庫的訪問操作都是針對局部資料庫的，而不是對其他位置的資料庫訪問； 其次，系統的可靠性提高了很多，因為當網路出現故障時，仍然允許對局部資料庫的操作，而且一個位置的故障不影響其他位置的處理工作，只有當訪問出現故障位置的數據時，在某種程度上才受影響； 第三，便於系統的擴充，增加一個新的局部資料庫，或在某個位置擴充一台適當的小型計算機，都很容易實現。然而有些功能要付出更高的代價。例如，為了調配在幾個位置上的活動，事務管理的性能比在中心資料庫時花費更高，而且甚至抵消許多其他的優點。 分布式軟體系統(Distributed Software Systems)是支持分布式處理的軟體系統,是在由通信網路互聯的多處理機體系結構上執行任務的系統。它包括分布式操作系統、分布式程序設計語言及其編譯(解釋)系統、分布式文件系統和分布式資料庫系統等。
分布式操作系統負責管理分布式處理系統資源和控制分布式程序運行。它和集中式操作系統的區別在於資源管理、進程通信和系統結構等方面。 分布式程序設計語言用於編寫運行於分布式計算機系統上的分布式程序。一個分布式程序由若干個可以獨立執行的程序模塊組成,它們分布於一個分布式處理系統的多台計算機上被同時執行。它與集中式的程序設計語言相比有三個特點：分布性、通信性和穩健性。 分布式文件系統具有執行遠程文件存取的能力,並以透明方式對分布在網路上的文件進行管理和存取。 分布式資料庫系統由分布於多個計算機結點上的若干個資料庫系統組成,它提供有效的存取手段來操縱這些結點上的子資料庫。分布式資料庫在使用上可視為一個完整的資料庫,而實際上它是分布在地理分散的各個結點上。當然,分布在各個結點上的子資料庫在邏輯上是相關的。
Hadoop的分布式文件系統HDFS，作為開源的分布式平台，為目前流行的很多分布式資料庫提供了支持，譬如HBase等。Yonghong的分布式文件系統ZFS，為分布式數據集市Z-DataMart提供了底層平台。

② 大數據的分布式資料庫的發展趨勢如何

現在大數據是一個十分火熱的技術，這也使得很多人都開始關注大數據的任何動態，因為大數據在某種程度上來說能夠影響我們的生活。在這篇文章中我們就給大家介紹一下大數據的分布式資料庫的發展趨勢，希望這篇文章能夠幫助大家更好理解大數據的分布式資料庫的發展趨勢。
其實不論是Hadoop還是分布式資料庫，技術體繫上兩者都已經向著計算存儲層分離的方式演進。對於Hadoop來說這一趨勢非常明顯，HDFS存儲與YARN調度計算的分離，使得計算與存儲均可以按需橫向擴展。而分布式資料庫近年來也在遵循類似的趨勢，很多資料庫已經將底層存儲與上層的SQL引擎進行剝離。傳統的XML資料庫、OO資料庫、與pre-RDBMS正在消亡；新興領域文檔類資料庫、圖資料庫、Table-Style資料庫與Multi-Model資料庫正在擴大自身影響；傳統關系型資料庫、列存儲資料庫、內存分析型資料庫正在考慮轉型。可以看到，從技術完整性與成熟度來看，Hadoop確實還處於相對早期的形態。直到今天，很多技術在很多企業應用中需要大量的手工調優才能夠勉強運行。同時，Hadoop的主要應用場景一直以來面向批處理分析型業務，傳統資料庫在線聯機處理部分不是其主要的發展方向。同時Hadoop技術由於開源生態體系過於龐大，同時參與改造的廠商太多，使得用戶很難完全熟悉整個體系，這一方面大大增加了開發的復雜度，提升了用戶使用的難度，另一方面則是各個廠商之間維護不同版本，使得產品的發展方向可能與開源版本差別逐漸加大。
而分布式資料庫領域經歷了幾十年的磨練，傳統RDBMS的MPP技術早已經爐火純青，在分類眾多的分布式資料庫中，其主要發展方向基本可以分為「分布式聯機資料庫」與「分布式分析型資料庫」兩種。對比Hadoop與分布式資料庫可以看出，Hadoop的產品發展方向定位，與分布式資料庫中列存儲資料庫相當重疊而在高並發聯機交易場景，在Hadoop中除了HBase能夠勉強沾邊以外，分布式資料庫則占據絕對的優勢。目前，從Hadoop行業的發展來看，很多廠商而是將其定位改變為數據科學與機器學習服務商。因此，從商業模式上看以Hadoop分銷的商業模式基本已經宣告結束，用戶已經體驗到維護整個Hadoop平台的困難而不願被強迫購買整個平台。大量用戶更願意把原來Hadoop的部件拆開靈活使用，為使用場景和結果買單，而非平台本身買單。另外一個細分市場——非結構化小文件存儲，一直以來都是對象存儲、塊存儲，與分布式文件系統的主戰場。如今，一些新一代資料庫也開始進入該領域，可以預見在未來的幾年中，小型非結構化文件存儲也可能成為具備多模數據處理能力的分布式資料庫的戰場之一。
我們在這篇文章中給大家介紹了很多有關大數據分布資料庫的發展前景，通過這篇文章我們不難發現資料庫的發展是一個極其重要的內容，只有搭建分布式資料庫，大數據才能夠更好地為我們服務。

③ 什麼叫大數據 怎麼理解大數據

1、「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

2、麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

3、大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

4、從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

5、隨著雲時代的來臨，大數據（Bigdata）也吸引了越來越多的關注。大數據（Bigdata）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。

6、大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

④ 大數據常用哪些資料庫

通常資料庫分為關系型資料庫和非關系型資料庫，關系型資料庫的優勢到現在也是無可替代的，比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Access等等資料庫，這些資料庫支持復雜的SQL操作和事務機制，適合小量數據讀寫場景；但是到了大數據時代，人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。

大數據時代初期，隨著數據請求並發量大不斷增大，一般都是採用的集群同步數據的方式處理，就是將資料庫分成了很多的小庫，每個資料庫的數據內容是不變的，都是保存了源資料庫的數據副本，通過同步或者非同步方式保證數據的一致性，每個庫設定特定的讀寫方式，比如主資料庫負責寫操作，從資料庫是負責讀操作，等等根據業務復雜程度以此類推，將業務在物理層面上進行了分離，但是這種方式依舊存在一定的負載壓力的問題，企業數據在不斷的擴增中，後面就採用分庫分表的方式解決，對讀寫負載進行分離，但是這種實現依舊存在不足，且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型

1、列族資料庫：BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等，下面簡單介紹幾個

（1）Cassandra：Cassandra是一個列存儲資料庫，支持跨數據中心的數據復制。它的數據模型提供列索引，log-structured修改，支持反規范化，實體化視圖和嵌入超高速緩存。

（2）HBase：Apache Hbase源於Google的Bigtable，是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一樣的功能。

（3）Amazon SimpleDB：Amazon SimpleDB是一個非關系型數據存儲，它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項

（4）Apache Accumulo：Apache Accumulo的有序的、分布式鍵值數據存儲，基於Google的BigTable設計，建立在Apache Hadoop、Zookeeper和Thrift技術之上。

（5）Hypertable：Hypertable是一個開源、可擴展的資料庫，模仿Bigtable，支持分片。

（6）Azure Tables：Windows Azure Table Storage Service為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別，能通過REST和Managed API訪問。

2、鍵值資料庫：Redis、SimpleDB、Scalaris、Memcached等，下面簡單介紹幾個

（1）Riak：Riak是一個開源，分布式鍵值資料庫，支持數據復制和容錯。（2）Redis：Redis是一個開源的鍵值存儲。支持主從式復制、事務，Pub/Sub、Lua腳本，還支持給Key添加時限。

（3）Dynamo：Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現；在亞馬遜S3產品中使用。

（4）Oracle NoSQL Database：來自Oracle的鍵值NoSQL資料庫。它支持事務ACID（原子性、一致性、持久性和獨立性）和JSON。

（5）Oracle NoSQL Database：具備數據備份和分布式鍵值存儲系統。

（6）Voldemort：具備數據備份和分布式鍵值存儲系統。

（7）Aerospike：Aerospike資料庫是一個鍵值存儲，支持混合內存架構，通過強一致性和可調一致性保證數據的完整性。

3、文檔資料庫：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面簡單介紹幾個

（1）MongoDB：開源、面向文檔，也是當下最人氣的NoSQL資料庫。

（2）CounchDB：Apache CounchDB是一個使用JSON的文檔資料庫，使用Javascript做MapRece查詢，以及一個使用HTTP的API。

（3）Couchbase：NoSQL文檔資料庫基於JSON模型。

（4）RavenDB：RavenDB是一個基於.NET語言的面向文檔資料庫。

（5）MarkLogic：MarkLogic NoSQL資料庫用來存儲基於XML和以文檔為中心的信息，支持靈活的模式。

4、圖資料庫：Neo4J、InfoGrid、OrientDB、GraphDB，下面簡單介紹幾個

（1）Neo4j：Neo4j是一個圖資料庫；支持ACID事務（原子性、獨立性、持久性和一致性）。

（2）InfiniteGraph：一個圖資料庫用來維持和遍歷對象間的關系，支持分布式數據存儲。

（3）AllegroGraph：AllegroGraph是結合使用了內存和磁碟，提供了高可擴展性，支持SPARQ、RDFS++和Prolog推理。

5、內存數據網格：Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面簡單介紹幾個

（1）Hazelcast：Hazelcast CE是一個開源數據分布平台，它允許開發者在資料庫集群之上共享和分割數據。

（2）Oracle Coherence：Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力，一致性支持事務處理能力和數據的動態劃分。

（3）Terracotta BigMemory：來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。

（4）GemFire：Vmware vFabric GemFire是一個分布式數據管理平台，也是一個分布式的數據網格平台，支持內存數據管理、復制、劃分、數據識別路由和連續查詢。

（5）Infinispan：Infinispan是一個基於Java的開源鍵值NoSQL數據存儲，和分布式數據節點平台，支持事務，peer-to-peer 及client/server 架構。

（6）GridGain：分布式、面向對象、基於內存、SQL+NoSQL鍵值資料庫。支持ACID事務。

（7）GigaSpaces：GigaSpaces內存數據網格能夠充當應用的記錄系統，並支持各種各樣的高速緩存場景。