資料庫水平分片

『壹』 分布式資料庫的數據分片類型

（1）水平分片來：按自一定的條件把全局關系的所有元組劃分成若干不相交的子集，每個子集為關系的一個片段。
（2）垂直分片：把一個全局關系的屬性集分成若乾子集，並在這些子集上作投影運算，每個投影稱為垂直分片。
（3）導出分片：又稱為導出水平分片，即水平分片的條件不是本關系屬性的條件，而是其他關系屬性的條件。
（4）混合分片：以上三種方法的混合。可以先水平分片再垂直分片，或先垂直分片再水平分片，或其他形式，但他們的結果是不相同的。
條件：
（1）完備性條件：必須把全局關系的所有數據映射到片段中，決不允許有屬於全局關系的數據卻不屬於它的某一個片段。
（2）可重構條件：必須保證能夠由同一個全局關系的各個片段來重建該全局關系。對於水平分片可用並操作重構全局關系；對於垂直分片可用聯接操作重構全局關系。
（3）不相交條件：要求一個全局關系被分割後所得的各個數據片段互不重疊（對垂直分片的主鍵除外）。

『貳』 分布式資料庫系統(DDBS)概述

一 什麼是分布式資料庫

分布式資料庫系統是在集中式資料庫系統的基礎上發展來的 是資料庫技術與網路技術結合的產物

分布式資料庫系統有兩種 一種是物理上分布的 但邏輯上卻是集中的 這種分布式資料庫只適宜用途比較單一的 不大的單位或部門 另一種分布式資料庫系統在物理上和邏輯上都是分布的 也就是所謂聯邦式分布資料庫系統 由於組成聯邦的各個子資料庫系統是相對 自治 的 這種系統可以容納多種不同用途的 差異較大的資料庫 比較適宜於大范圍內資料庫的集成

分布式資料庫系統(DDBS)包含分布式資料庫管理系統(DDBMS)和分布式資料庫(DDB)

在分布式資料庫系統中 一個應用程序可以對資料庫進行透明操作 資料庫中的數據分別在不同的局部資料庫中存儲 由不同的DBMS進行管理 在不同的機器上運行 由不同的操作系統支持 被不同的通信網路連接在一起

一個分布式資料庫在邏輯上是一個統一的整體 即在用戶面前為單個邏輯資料庫 在物理上則是分別存儲在不同的物理節點上 一個應用程序通過網路的連接可以訪問分布在不同地理位置的資料庫 它的分布性表現在資料庫中的數據不是存儲在同一場地 更確切地講 不存儲在同一計算機的存儲設備上 這就是與集中式資料庫的區別 從用戶的角度看 一個分布式資料庫系統在邏輯上和集中式資料庫系統一樣 用戶可以在任何一個場地執行全局應用 就好那些數據是存儲在同一台計算機上 有單個資料庫管理系統(DBMS)管理一樣 用戶並沒有什麼感覺不一樣

分布式資料庫中每一個資料庫伺服器合作地維護全局資料庫的一致性

分布式資料庫系統是一個客戶/伺服器體系結構

在系統中的每一台計算機稱為結點 如果一結點具有管理資料庫軟體 該結點稱為資料庫伺服器 如果一個結點為請求伺服器的信息的一應用 該結點稱為客戶 在ORACLE客戶 執行資料庫應用 可存取數據信息和與用戶交互 在伺服器 執行ORACLE軟體 處理對ORACLE資料庫並發 共享數據存取 ORACLE允許上述兩部分在同一台計算機上 但當客戶部分和伺服器部分是由網連接的不同計算機上時 更有效

分布處理是由多台處理機分擔單個任務的處理 在ORACLE資料庫系統中分布處理的例子如

客戶和伺服器是位於網路連接的不同計算機上

單台計算機上有多個處理器 不同處理器分別執行客戶應用

參與分布式資料庫的每一伺服器是分別地獨立地管理資料庫 好像每一資料庫不是網路化的資料庫 每一個資料庫獨立地被管理 稱為場地自治性 場地自治性有下列好處

◆系統的結點可反映公司的邏輯組織

◆由局部資料庫管理員控制局部數據 這樣每一個資料庫管理員責任域要小一些 可更好管理

◆只要一個資料庫和網路是可用 那麼全局資料庫可部分可用 不會因一個資料庫的故障而停止全部操作或引起性能瓶頸

◆故障恢復通常在單個結點上進行

◆每個局部資料庫存在一個數據字典

◆結點可獨立地升級軟體

可從分布式資料庫的所有結點存取模式對象 因此正像非分布的局部的DBMS 必須提供一種機制 可在局部資料庫中引用一個對象 分布式DBMS必須提供一種命名模式 以致分布式資料庫中一個對象可在應用中唯一標識和引用 一般在層次結構的每一層實施唯一性 分布式DBMS簡單地擴充層次命名模型 實施在網路上唯一資料庫命名 因此一個對象的全局對象名保證在分布式資料庫內是唯一

ORACLE允許在SQL語句中使用全局對象名引用分布式資料庫中的模式對象(表 視圖和過程) 在ORACLE中 一個模式對象的全局名由三部分組成 包含對象的模式名 對象名 資料庫名 其形式如

SCOTT EMP@SALES DIVISION ACME

一個遠程查詢為一查詢 是從一個或多個遠程表中選擇信息 這些表駐留在同一個遠程結點

一個分布式查詢可從兩個或多個結點檢索數據 一個分布式更新可修改兩個或兩個以上結點的數據

一個遠程事務為一個事務 包含一人或多個遠程語句 它所引用的全部是在同一個遠程結點上 一個分布式事務中一個事務 包含一個或多個語句修改分布式資料庫的兩個或多個不同結點的數據

在分布式資料庫中 事務控制必須在網路上直轄市 保證數據一致性 兩階段提交機制保證參與分布式事務的全部資料庫伺服器是全部提交或全部回滾事務中的語句

ORACLE分布式資料庫系統結構可由ORACLE資料庫管理員為終端用戶和應用提供位置透明性 利用視圖 同義詞 過程可提供ORACLE分布式資料庫系統中的位置透明性

ORACLE提供兩種機制實現分布式資料庫中表重復的透明性 錶快照提供非同步的表重復;觸發器實現同步的表的重復 在兩種情況下 都實現了對表重復的透明性

在單場地或分布式資料庫中 所有事務都是用MIT或ROLLBACK語句中止

二 分布式資料庫系統的分類

( ) 同構同質型DDBS 各個場地都採用同一類型的數據模型(譬如都是關系型) 並且是同一型號的DBMS

( )同構異質型DDBS 各個場地採用同一類型的數據模型 但是DBMS的型號不同 譬如DB ORACLE SYBASE SQL Server等

( )異構型DDBS 各個場地的數據模型的型號不同 甚至類型也不同 隨著計算機網路技術的發展 異種機聯網問題已經得到較好的解決 此時依靠異構型DDBS就能存取全網中各種異構局部庫中的數據

三 分布式資料庫系統主要特點

DDBS的基本特點

( )物理分布性 數據不是存儲在一個場地上 而是存儲在計算機網路的多個場地上

邏輯整體性 數據物理分布在各個場地 但邏輯上是一個整體 它們被所有用戶(全局用戶)共享 並由一個DDBMS統一管理

( )場地自治性 各場地上的數據由本地的DBMS管理 具有自治處理能力 完成本場地的應用(局部應用)

( )場地之間協作性 各場地雖然具有高度的自治性 但是又相互協作構成一個整體

DDBS的其他特點

( )數據獨立性

( )集中與自治相結合的控制機制

( )適當增加數據冗餘度

( )事務管理的分布性

四 分布式資料庫系統的優點

( )更適合分布式的管理與控制

分布式資料庫系統的結構更適合具有地理分布特性的組織或機構使用 允許分布在不同區域 不同級別的各個部門對其自身的數據實行局部控制 例如 實現全局數據在本地錄入 查詢 維護 這時由於計算機資源靠近用戶 可以降低通信代價 提高響應速度 而涉及其他場地資料庫中的數據只是少量的 從而可以大大減少網路上的信息傳輸量;同時 局部數據的安全性也可以做得更好

( )具有靈活的體系結構

集中式資料庫系統強調的是集中式控制 物理資料庫是存放在一個場地上的 由一個DBMS集中管理 多個用戶只可以通過近程或遠程終端在多用戶操作系統支持下運行該DBMS來共享集中是資料庫中的數據 而分布式資料庫系統的場地局部DBMS的自治性 使得大部分的局部事務管理和控制都能就地解決 只有在涉及其他場地的數據時才需要通過網路作為全局事務來管理 分布式DBMS可以設計成具有不同程度的自治性 從具有充分的場地自治到幾乎是完全集中式的控制

( )系統經濟 可靠性高 可用性好

與一個大型計算機支持一個大型的集中式資料庫在加一些進程和遠程終端相比 由超級微型計算機或超級小型計算機支持的分布式資料庫系統往往具有更高的性價比和實施靈活性 分布式系統比集中式系統具有更高的可靠性和更好的可用性 如由於數據分布在多個場地並有許多復制數據 在個別場地或個別通信鏈路發生故障時 不致於導致整個系統的崩潰 而且系統的局部故障不會引起全局失控

( )在一定條件下響應速度加快

如果存取的數據在本地資料庫中 那麼就可以由用戶所在的計算機來執行 速度就快

( )可擴展性好 易於集成現有系統 也易於擴充

對於一個企業或組織 可以採用分布式資料庫技術在以建立的若干資料庫的基礎上開發全局應用 對原有的局部資料庫系統作某些改動 形成一個分布式系統 這比重建一個大型資料庫系統要簡單 既省時間 又省財力 物力 也可以通過增加場地數的辦法 迅速擴充已有的分布式資料庫系統

五 分布式資料庫系統的劣勢

( )通信開銷較大 故障率高

例如 在網路通信傳輸速度不高時 系統的響應速度慢 與通信相關的因素往往導致系統故障 同時系統本身的復雜性也容易導致較高的故障率 當故障發生後系統恢復也比較復雜 可靠性有待提高

( )數據的存取結構復雜

一般來說 在分布時資料庫中存取數據 比在集中時資料庫中存取數據更復雜 開銷更大

( )數據的安全性和保密性較難控制

在具有高度場地自治的分布時資料庫中 不同場地的局部資料庫管理員可以採用不同的安全措施 但是無法保證全局數據都是安全的 安全性問題式分布式系統固有的問題 因為分布式系統式通過通信網路來實現分布控制的 而通信網路本身卻在保護數據的安全性和保密性方面存在弱點 數據很容易被竊取

分布式資料庫的設計 場地劃分及數據在不同場地的分配比較復雜 數據的劃分及分配對系統的性能 響應速度及可用性等具有極大的影響 不同場地的通信速度與局部資料庫系統的存取部件的存取速度相比 是非常慢的 通信系統有較高的延遲 在CPU上處理通信信息的代價很高 分布式資料庫系統中要注意解決分布式資料庫的設計 查詢處理和優化 事務管理及並發控制和目錄管理等問題

六 分布式資料庫系統 數據分片

類型

水平分片

按一定的條件把全局關系的所有元組劃分成若干不相交的子集 每個子集為關系的一個片段

垂直分片

把一個全局關系的屬性集分成若乾子集 並在這些子集上作投影運算 每個投影稱為垂直分片

導出分片

又稱為導出水平分片 即水平分片的條件不是本關系屬性的條件 而是其他關系屬性的條件

混合分片

以上三種方法的混合 可以先水平分片再垂直分片 或先垂直分片再水平分片 或其他形式 但他們的結果是不相同的

條件

( )完備性條件

必須把全局關系的所有數據映射到片段中 決不允許有屬於全局關系的數據卻不屬於它的任何一個片段

( )可重構條件

必須保證能夠由同一個全局關系的各個片段來重建該全局關系 對於水平分片可用並操作重構全局關系;對於垂直分片可用聯接操作重構全局關系

( )不相交條件

要求一個全局關系被分割後所得的各個數據片段互不重疊(對垂直分片的主鍵除外)

七 分布式資料庫系統 數據分配方式

( )集中式 所有數據片段都安排在同一個場地上

( )分割式

所有數據只有一份 它被分割成若干邏輯片段 每個邏輯片段被指派在一個特定的場地上

( )全復制式 數據在每個場地重復存儲 也就是每個場地上都有一個完整的數據副本

( )混合式 這是一種介乎於分割式和全復制式之間的分配方式

八 分布式資料庫系統 體系結構

數據分片和數據分配概念的分離 形成了 數據分布獨立型 概念

數據冗餘的顯式控制 數據在各個場地的分配情況在分配模式中一目瞭然 便於系統管理

局部DBMS的獨立性 這個特徵也稱為 局部映射透明性 此特徵允許我們在不考慮局部DBMS專用數據模型的情況下 研究DDB管理的有關問題

九 分布式資料庫管理系統

接受用戶請求 並判定把它送到哪裡 或必須訪問哪些計算機才能滿足該要求

訪問網路數據字典 了解如何請求和使用其中的信息

如果目標數據存儲於系統的多個計算機上 就必須進行分布式處理

通信介面功能 在用戶 局部DBMS和其他計算機的DBMS之間進行協調

在一個異構型分布式處理環境中 還需提供數據和進程移植的支持 這里的異構型是指各個場地的硬體 軟體之間存在著差別

分布式資料庫管理系統

『叄』 數據分片應遵守哪些基本原則數據分片有哪些基本類型和方法

鏈路層具有最大傳輸單元MTU這個特性，它限制了數據幀的最大長度，不同的網路類型都有一個上限值。乙太網的MTU是1500，你可以用 netstat -i 命令查看這個值。如果IP層有數據包要傳，而且數據包的長度超過了MTU，那麼IP層就要對數據包進行分（fragmentation）操作，使每一片的長度都小於或等於MTU。我們假設要傳輸一個UDP數據包，乙太網的MTU為1500位元組，一般IP首部為20位元組，UDP首部為8位元組，數據的凈荷（payload）部分預留是1500-20-8=1472位元組。如果數據部分大於1472位元組，就會出現分片現象。
分片（sharding）是資料庫分區的一種，它將大型資料庫分成更小、更快、更容易管理的部分，這些部分叫做數據碎片。碎片這個詞意思就是整體的一小部分。
Jason Tee表示：「簡言之，分片（sharding）資料庫需要將資料庫（database）分成多個沒有共同點的小型資料庫，且它們可以跨多台伺服器傳播。」
技術上來說，分片（sharding）是水平分區的同義詞。在實際操作中，這個術語常用來表示讓一個大型資料庫更易於管理的所有資料庫分區。
分片（sharding）的核心理念基於一個想法：資料庫大小以及資料庫上每單元時間內的交易數呈線型增長，查詢資料庫的響應時間（response time）以指數方式增長。
另外，在一個地方創建和維護一個大型資料庫的成本會成指數增長，因為資料庫將需要高端的計算機。相反地，數據碎片可以分布到大量便宜得多的商用伺服器上。就硬體和軟體要求而言，數據碎片相對來說沒什麼限制。
在某些情況中，資料庫分片（sharding）可以很簡單地完成。按地理位置拆分用戶資料庫就是一個常見的例子。位於東海岸的用戶被分到一台伺服器上，在西海岸的用戶被分在另一台伺服器上。假設沒有用戶有多個地理位置，這種分區很易於維護和創建規則。
但是數據分片（sharding）在某些情況下會是更為復雜的過程。例如，一個資料庫持有很少結構化數據，分片它就可能非常復雜，並且結果碎片可能會很難維護。
分片過程
對於發送端發送的每份IP數據報來說，其標識欄位都包含一個唯一值。該值在數據報分片時被復制到每個片中。標志欄位用其中一個比特來表示「更多的片」。除了最後一片外，其他每個組成數據報的片都要把該比特置1。片偏移欄位指的是該片偏移原始數據報開始處的位置。另外，當數據報被分片後，每個片的總長度值要改為該片的長度值。
最後，標志欄位中有一個比特稱作「不分片」位。如果將這一比特置1，IP將不對數據報進行分片。相反把數據報丟棄並發送一個ICMP差錯報文給起始端。
當IP數據報被分片後，每一片都成為一個分組，具有自己的IP首部，並在選擇路由時與其他分組獨立。這樣，當數據報的這些片到達目的端時有可能會失序，但是在IP首部中有足夠的信息讓接收端能正確組裝這些數據報片。

『肆』 簡述分布式資料庫的模式結構

布式資料庫系統通常使用較小的計算機系統，每台計算機可單獨放在一個地方，每台計算機中都有DBMS的一份完整拷貝副本，並具有自己局部的資料庫，位於不同地點的許多計算機通過網路互相連接，共同組成一個完整的、全局的大型資料庫。
這種組織資料庫的方法克服了物理中心資料庫組織的弱點。首先，降低了數據傳送代價，因為大多數的對資料庫的訪問操作都是針對局部資料庫的，而不是對其他位置的資料庫訪問；其次，系統的可靠性提高了很多，因為當網路出現故障時，仍然允許對局部資料庫的操作，而且一個位置的故障不影響其他位置的處理工作，只有當訪問出現故障位置的數據時，在某種程度上才受影響；第三，便於系統的擴充，增加一個新的局部資料庫，或在某個位置擴充一台適當的小型計算機，都很容易實現。然而有些功能要付出更高的代價。例如，為了調配在幾個位置上的活動，事務管理的性能比在中心資料庫時花費更高，而且甚至抵消許多其他的優點。
分布式資料庫系統主要特點：
· 多數處理就地完成；
· 各地的計算機由數據通信網路相聯系。
· 克服了中心資料庫的弱點：降低了數據傳輸代價；
· 提高了系統的可靠性，局部系統發生故障，其他部分還可繼續工作；
· 各個資料庫的位置是透明的，方便系統的擴充；
· 為了協調整個系統的事務活動，事務管理的性能花費高；
數據分片
類型：
（1）水平分片：按一定的條件把全局關系的所有元組劃分成若干不相交的子集，每個子集為關系的一個片段。
（2）垂直分片：把一個全局關系的屬性集分成若乾子集，並在這些子集上作投影運算，每個投影稱為垂直分片。
（3）導出分片：又稱為導出水平分片，即水平分片的條件不是本關系屬性的條件，而是其他關系屬性的條件。
（4）混合分片：以上三種方法的混合。可以先水平分片再垂直分片，或先垂直分片再水平分片，或其他形式，但他們的結果是不相同的。
條件：
（1）完備性條件：必須把全局關系的所有數據映射到片段中，決不允許有屬於全局關系的數據卻不屬於它的任何一個片段。
（2）可重構條件：必須保證能夠由同一個全局關系的各個片段來重建該全局關系。對於水平分片可用並操作重構全局關系；對於垂直分片可用聯接操作重構全局關系。
（3）不相交條件：要求一個全局關系被分割後所得的各個數據片段互不重疊（對垂直分片的主鍵除外）。
數據分配方式
（1）集中式：所有數據片段都安排在同一個場地上。
（2）分割式：所有數據只有一份，它被分割成若干邏輯片段，每個邏輯片段被指派在一個特定的場地上。
（4）全復制式：數據在每個場地重復存儲。也就是每個場地上都有一個完整的數據副本。
（5）混合式：這是一種介乎於分割式和全復制式之間的分配方式。
目前分布式資料庫分配的設計，越來越多的採用尋找最優解的演算法，比如遺傳演算法、退火機制等
查詢優化
指在執行分布式查詢時選擇查詢執行計劃的方法和關系運算符的實現演算法。根據系統環境的不同，查詢優化所使用的演算法也有所不同，通常分為遠程廣域網環境和高速區域網環境，其區別主要在網路的帶寬。對於一元運算符可以採用集中式資料庫中的查詢優化方法。而對於二元運算符，由於涉及場地間的數據傳輸，因此必須考慮通信代價。分布式查詢中常見的連接運算執行策略包括：
（1）半連接方法：利用半連接運算的轉換方法R∞S=（RµS）∞S。假設場地1和場地2上分別有關系R和關系S，首先在S上執行連接屬性上的投影並將結果傳輸至場地1，在場地1上執行關系R與投影的連接操作，再將結果傳輸至場地2與關系S執行連接操作。這種方法能夠降低執行連接運算時的網路通信代價，主要適用於帶寬較低的遠程廣域網路。
（2）枚舉法方法：指枚舉關系運算符的物理執行計劃，通過對比執行計劃的代價選擇執行演算法的方法。其中，連接運算符的物理執行計劃包括嵌套循環方法、哈希連接法和歸並連接法。枚舉法主要適用於以磁碟IO代價為主的高速區域網環境。

『伍』 什麼叫分布式資料庫，有什麼優點和缺點

分布式資料庫系統優點：

①更適合分布式的管理與控制。

分布式資料庫系統版的結構更適合具有地權理分布特性的組織或機構使用，允許分布在不同區域、不同級別的各個部門對其自身的數據實行局部控制。

②具有靈活的體系結構。

分布式DBMS可以設計成具有不同程度的自治性，從具有充分的場地自治到幾乎是完全集中式的控制。

③系統經濟，可靠性高，可用性好。

由於數據分布在多個場地並有許多復制數據，在個別場地或個別通信鏈路發生故障時，不致於導致整個系統的崩潰，而且系統的局部故障不會引起全局失控。

④在一定條件下響應速度加快。

如果存取的數據在本地資料庫中，那末就可以由用戶所在的計算機來執行，速度就快。

⑤可擴展性好，易於集成現有系統，也易於擴充。

分布式資料庫系統缺點：

①通信開銷較大，故障率高。

②數據的存取結構復雜。

③數據的安全性和保密性較難控制。