兩個資料庫實時同步

『壹』 兩台oracle10g資料庫，如何才能進行數據同步

分布實現Oracle資料庫的實時數據復制的步驟是這樣的：

在具體的實現之前，首先要做好設計與規劃。這就需要細致分析具體的業務情況，設計出一套能夠滿足業務需要的方案。通常在設計過程中，需要確定出要建立的資料庫站點，各站點的類型，需要復制的數據對象，以及同步方式、沖突解決方案等內容。

在設計完成之後，就可具體來實現數據復制，數據復制的實現主要包括以下幾步：

（1）創建復制站點；
（2）創建組對象；
（3）配置沖突解決方案。

下面我們舉一個例子來說明各步具體需要完成的工作。在這個例子中我們採用多主控站點復制方式，設有兩個主控站點和兩個共享數據表。兩個主控站點分別為：處理站點（cl.world）和解釋站點（js.wo rld）；兩個數據表為測區( survey)和測線( line)。

STEP1 創建復制站點：

（1）首先以SYSTEM身份登陸主站點資料庫cl.worldCONNECT system/[email protected]；
（2）創建用戶—復制管理員，並為該用戶授權復制管理員負責復制站點的創建和管理，每個復制站點都必須創建復制管理員以下為引用的內容：
CREATE USER repadmin IDENTIFIED BY repadmin;
BEGIN
DBMS_REPCAT_ADMIN.GRANT_ADMIN_ANY_SCHEMA (username => 』repadmin』);
END;

（3）為本站點指定傳播者（傳播者負責將本地最新更新的數據傳播到其他站點上）：
BEGIN
DBMS_DEFER_SYS.REGISTER_PROPAGATOR (username => 』repadmin』);
END;

（4）為本站點指定接收者（接收者負責接收其他站點上的傳播者傳送過來的數據）：
BEGIN
DBMS_REPCAT_ADMIN.REGISTER_USER_REPGROUP (
username => 』repadmin』,
privilege_type => 』receiver』,
list_of_gnames => NULL);
END;
（5）確定清除時間：
為了使傳送過來事務隊列不致過大，需要將成功載入的事務從事物隊列里清除掉，這里設定每小時清除一次：
CONNECT repadmin/[email protected]
BEGIN
DBMS_DEFER_SYS.SCHEDULE_PURGE (
next_date => SYSDATE,
interval => 』SYSDATE + 1/24』,
delay_seconds => 0);
END;
在建立好站點cl.world後，以同樣的方法創建站點js. world。
（6）創建各主控站點之間的調度鏈接：
創建各主控站點之間的調度鏈接需要先在各主控站點間建立資料庫鏈接，之後為每個資料庫鏈接定義調度時間。
首先，在處理站點上建立與解釋站點的資料庫鏈接，這里需要先建立一個公用資料庫鏈接，供其他私有資料庫鏈接來使用。

以下為引用的內容：

CONNECT SYSTEM/[email protected]
CREATE PUBLIC DATABASE LINK js.world USING 』js.world』;
CONNECT repadmin/[email protected]
CREATE DATABASE LINK js.world CONNECT TO repadmin
IDENTIFIED BY repadmin;

同樣，在解釋站點上建立與處理站點的資料庫鏈接。

以下為引用的內容：

CONNECT SYSTEM/[email protected]
CREATE PUBLIC DATABASE LINK cl.world USING 』cl.world』;
CONNECT repadmin/[email protected]
CREATE DATABASE LINK cl.world CONNECT TO repadmin
IDENTIFIED BY repadmin;

調度鏈接確定本站點上的事務向其他站點發送的頻度，下面的代碼為10分鍾一次:

以下為引用的內容：

CONNECT repadmin/[email protected]
BEGIN
DBMS_DEFER_SYS.SCHEDULE_PUSH (
destination => 』js.world』,
interval => 』SYSDATE + (1/144)』,
next_date => SYSDATE,
parallelism => 1,
execution_seconds => 1500,
delay_seconds => 1200);
END;

在解釋站點上做相同的工作STEP2 創建主控組在復制環境中，Oracle用組來管理復制對象。通過將相關的復制對象放在一個組里，從而方便對大量數據對象的管理。

這里我們假設用戶模式integr ation 在處理站點和解釋站點都已存在，而且表測區(survey )和測線(line)也已經創建。

（1）創建主控組對象 以下為引用的內容：

CONNECT repadmin/[email protected]
BEGIN
DBMS_REPCAT.CREATE_MASTER_REPGROUP (
gname => 』inte_repg』);
END;

（2）向主控組中添加數據對象，將測區表survey加入到組inte_repg中以下為引用的內容：

BEGIN
DBMS_REPCAT.CREATE_MASTER_REPOBJECT (
gname => 』inte_repg』,
type => 』TABLE』,
oname => 』survey』,
sname => 』integration』,
use_existing_object => TRUE,
_rows => FALSE);
END;

以同樣的方法將測線表line加入到組inte_repg中。

（3）在主控組中添加其他參與復制的站點，資料庫之間的同步方式在此指定以下為引用的內容：

BEGIN
DBMS_REPCAT.ADD_MASTER_DATABASE (
gname => 』inte_repg』,
master => 』js.world』,
use_existing_objects => TRUE,
_rows => FALSE,
propagation_mode => 』ASYNCHRONOUS』);
END;

（4）如果可能出現沖突，則需要配置沖突解決方案。

（5）為每個對象生成復制支持,以下為引用的內容：

BEGIN
DBMS_REPCAT.GENERATE_REPLICATION_SUPPORT (
sname => 』integration』,
oname => 』survey』,
type => 』TABLE』,
min_communication => TRUE);
END;

測線表line也一樣。
（6）重新開始復制以下為引用的內容：

BEGIN
DBMS_REPCAT.RESUME_MASTER_ACTIVITY (
gname => 』inte_repg』);
END;

以同樣的方式設置解釋站點。設置成功後，數據復制過程就宣告完畢，庫中的數據就可進行復制。

『貳』 怎麼實現兩個資料庫的同步

同步兩個SQLServer資料庫

如何同步兩個sqlserver資料庫的內容?程序代碼可以有版本管理cvs進行同步管理,可是資料庫同步就非常麻煩,只能自己改了一個後再去改另一個,如果忘記了更改另一個經常造成兩個資料庫的結構或內容上不一致.各位有什麼好的方法嗎?

一、分發與復制

用強制訂閱實現資料庫同步操作. 大量和批量的數據可以用資料庫的同步機制處理:

//

說明：

為方便操作,所有操作均在發布伺服器(分發伺服器)上操作,並使用推模式

在客戶機器使用強制訂閱方式。

二、測試通過

1:環境

伺服器環境:

機器名稱： zehuadb

操作系統：windows 2000 server

資料庫版本：sql 2000 server 個人版

客戶端

機器名稱：zlp

操作系統：windows 2000 server

資料庫版本：sql 2000 server 個人版

2:建用戶帳號

在伺服器端建立域用戶帳號

我的電腦管理->本地用戶和組->用戶->建立

username:zlp

userpwd:zlp

3:重新啟動伺服器mssqlserver

我的電腦->控制面版->管理工具->服務->mssqlserver 服務

(更改為：域用戶帳號,我們新建的zlp用戶 .zlp,密碼:zlp)

4:安裝分發伺服器

a:配置分發伺服器

工具->復制->配置發布、訂閱伺服器和分發->下一步->下一步(所有的均採用默認配置)

b:配置發布伺服器

工具->復制->創建和管理發布->選擇要發布的資料庫(sz)->下一步->快照發布->下一步->選擇要發布的內容->下一步->下一步->下一步->完成

c:強制配置訂閱伺服器(推模式,拉模式與此雷同)

工具->復制->配置發布、訂閱伺服器和分發->訂閱伺服器->新建->sql server資料庫->輸入客戶端伺服器名稱(zlp)->使用sql server 身份驗證(sa,空密碼)->確定->應用->確定

d:初始化訂閱

復制監視器->發布伺服器(zehuadb)->雙擊訂閱->強制新建->下一步->選擇啟用的訂閱伺服器->zlp->下一步->下一步->下一步->下一步->完成

5:測試配置是否成功

復制監視器->發布衿?zehuadb)->雙擊sz:sz->點狀態->點立即運行代理程序

查看：

復制監視器->發布伺服器(zehuadb)->sz:sz->選擇zlp:sz(類型強制)->滑鼠右鍵->啟動同步處理

如果沒有錯誤標志(紅色叉)，恭喜您配置成功

6:測試數據

在伺服器執行:

選擇一個表，執行如下sql: insert into wq_newsgroup_s select '測試成功',5

復制監視器->發布伺服器(zehuadb)->sz:sz->快照->啟動代理程序 ->zlp:sz(強制)->啟動同步處理

去查看同步的 wq_newsgroup_s 是否插入了一條新的記錄

測試完畢，通過。

7:修改資料庫的同步時間,一般選擇夜晚執行資料庫同步處理

(具體操作略) :d

/*

注意說明：

伺服器一端不能以(local)進行數據的發布與分發,需要先刪除注冊，然後新建注冊本地計算機名稱

卸載方式：工具->復制->禁止發布->是在"zehuadb"上靜止發布,卸載所有的資料庫同步配置伺服器

注意：發布伺服器、分發伺服器中的sqlserveragent服務必須啟動

採用推模式: "d:microsoft sql servermssql epldataunc" 目錄文件可以不設置共享

拉模式:則需要共享~!

*/

少量資料庫同步可以採用觸發器實現,同步單表即可。

三、配置過程中可能出現的問題

在sql server 2000里設置和使用資料庫復制之前，應先檢查相關的幾台sql server伺服器下面幾點是否滿足：

1、mssqlserver和sqlserveragent服務是否是以域用戶身份啟動並運行的（.administrator用戶也是可以的）

如果登錄用的是本地系統帳戶local，將不具備網路功能，會產生以下錯誤:

進程未能連接到distributor '@server name'

(如果您的伺服器已經用了sql server全文檢索服務, 請不要修改mssqlserver和sqlserveragent服務的local啟動。

會照成全文檢索服務不能用。請換另外一台機器來做sql server 2000里復制中的分發伺服器。)

修改服務啟動的登錄用戶，需要重新啟動mssqlserver和sqlserveragent服務才能生效。

2、檢查相關的幾台sql server伺服器是否改過名稱(需要srvid=0的本地機器上srvname和datasource一樣)

在查詢分析器里執行:

use master

select srvid,srvname,datasource from sysservers

如果沒有srvid=0或者srvid=0（也就是本機器）但srvname和datasource不一樣, 需要按如下方法修改:

use master

go

-- 設置兩個變數

declare @serverproperty_servername varchar(100),

@servername varchar(100)

-- 取得windows nt 伺服器和與指定的 sql server 實例關聯的實例信息

select @serverproperty_servername = convert(varchar(100), serverproperty('servername'))

-- 返回運行 microsoft sql server 的本地伺服器名稱

select @servername = convert(varchar(100), @@servername)

-- 顯示獲取的這兩個參數

select @serverproperty_servername,@servername

--如果@serverproperty_servername和@servername不同(因為你改過計算機名字),再運行下面的

--刪除錯誤的伺服器名

exec sp_dropserver @server=@servername

--添加正確的伺服器名

exec sp_addserver @server=@serverproperty_servername, @local='local'

修改這項參數，需要重新啟動mssqlserver和sqlserveragent服務才能生效。

這樣一來就不會在創建復制的過程中出現18482、18483錯誤了。

3、檢查sql server企業管理器裡面相關的幾台sql server注冊名是否和上面第二點里介紹的srvname一樣

不能用ip地址的注冊名。

（我們可以刪掉ip地址的注冊，新建以sql server管理員級別的用戶注冊的伺服器名）

這樣一來就不會在創建復制的過程中出現14010、20084、18456、18482、18483錯誤了。

4、檢查相關的幾台sql server伺服器網路是否能夠正常訪問

如果ping主機ip地址可以，但ping主機名不通的時候，需要在

winntsystem32driversetchosts (win2000)

(win2003)

文件里寫入資料庫伺服器ip地址和主機名的對應關系。

例如：

127.0.0.1 localhost

192.168.0.35 oracledb oracledb

192.168.0.65 fengyu02 fengyu02

202.84.10.193 bj_db bj_db

或者在sql server客戶端網路實用工具里建立別名，例如:

5、系統需要的擴展存儲過程是否存在(如果不存在，需要恢復):

sp_addextendedproc 'xp_regenumvalues',@dllname ='xpstar.dll'

go

sp_addextendedproc 'xp_regdeletevalue',@dllname ='xpstar.dll'

go

sp_addextendedproc 'xp_regdeletekey',@dllname ='xpstar.dll'

go

sp_addextendedproc xp_cmdshell ,@dllname ='xplog70.dll'

接下來就可以用sql server企業管理器里[復制]-> 右鍵選擇 ->[配置發布、訂閱伺服器和分發]的圖形界面來配置資料庫復制了。

下面是按順序列出配置復制的步驟:

1、建立發布和分發伺服器

[歡迎使用配置發布和分發向導]->[選擇分發伺服器]->[使"@servername"成為它自己的分發伺服器,sql server將創建分發資料庫和日誌]

->[制定快照文件夾]-> [自定義配置] -> [否,使用下列的默認配置] -> [完成]

上述步驟完成後, 會在當前"@servername" sql server資料庫里建立了一個distribion庫和 一個distributor_admin管理員級別的用戶(我們可以任意修改密碼)。

伺服器上新增加了四個作業:

[ 代理程序歷史記錄清除: distribution ]

[ 分發清除: distribution ]

[ 復制代理程序檢查 ]

[ 重新初始化存在數據驗證失敗的訂閱 ]

sql server企業管理器里多了一個復制監視器, 當前的這台機器就可以發布、分發、訂閱了。

我們再次在sql server企業管理器里[復制]-> 右鍵選擇 ->[配置發布、訂閱伺服器和分發]

我們可以在 [發布伺服器和分發伺服器的屬性] 窗口-> [發布伺服器] -> [新增] -> [確定] -> [發布資料庫] -> [事務]/[合並] -> [確定] -> [訂閱伺服器] -> [新增] -> [確定]

把網路上的其它sql server伺服器添加成為發布或者訂閱伺服器.

新增一台發布伺服器的選項：

我這里新建立的jin001發布伺服器是用管理員級別的資料庫用戶test連接的，

到發布伺服器的管理鏈接要輸入密碼的可選框, 默認的是選中的，

在新建的jin001發布伺服器上建立和分發伺服器fengyu/fengyu的鏈接的時需要輸入distributor_admin用戶的密碼。到發布伺服器的管理鏈接要輸入密碼的可選框，也可以不選，也就是不需要密碼來建立發布到分發伺服器的鏈接(這當然欠缺安全，在測試環境下可以使用)。

2、新建立的網路上另一台發布伺服器(例如jin001)選擇分發伺服器

[歡迎使用配置發布和分發向導]->[選擇分發伺服器]

-> 使用下列伺服器(選定的伺服器必須已配置為分發伺服器) -> [選定伺服器](例如fengyu/fengyu)

-> [下一步] -> [輸入分發伺服器（例如fengyu/fengyu）的distributor_admin用戶的密碼兩次]

-> [下一步] -> [自定義配置] -> [否，使用下列的默認配置]

-> [下一步] -> [完成] -> [確定]

建立一個資料庫復制發布的過程:

[復制] -> [發布內容] -> 右鍵選擇 -> [新建發布]

-> [下一步] -> [選擇發布資料庫] -> [選中一個待發布的資料庫]

-> [下一步] -> [選擇發布類型] -> [事務發布]/[合並發布]

-> [下一步] -> [指定訂閱伺服器的類型] -> [運行sql server 2000的伺服器]

-> [下一步] -> [指定項目] -> [在事務發布中只可以發布帶主鍵的表] -> [選中一個有主鍵的待發布的表]

->[在合並發布中會給表增加唯一性索引和 rowguidcol 屬性的唯一標識符欄位[rowguid],默認值是newid()]

(添加新列將: 導致不帶列列表的 insert 語句失敗,增加表的大小,增加生成第一個快照所要求的時間)

->[選中一個待發布的表]

-> [下一步] -> [選擇發布名稱和描述] ->

-> [下一步] -> [自定義發布的屬性] -> [否，根據指定方式創建發布]

-> [下一步] -> [完成] -> [關閉]

發布屬性里有很多有用的選項：設定訂閱到期(例如24小時)

設定發布表的項目屬性:

常規窗口可以指定發布目的表的名稱，可以跟原來的表名稱不一樣。

下圖是命令和快照窗口的欄目

( sql server 資料庫復制技術實際上是用insert,update,delete操作在訂閱伺服器上重做發布伺服器上的事務操作

看文檔資料需要把發布資料庫設成完全恢復模式，事務才不會丟失

但我自己在測試中發現發布資料庫是簡單恢復模式下，每10秒生成一些大事務，10分鍾後再收縮資料庫日誌，

這期間發布和訂閱伺服器上的作業都暫停，暫停恢復後並沒有丟失任何事務更改 )

發布表可以做數據篩選，例如只選擇表裡面的部分列:

例如只選擇表裡某些符合條件的記錄, 我們可以手工編寫篩選的sql語句:

發布表的訂閱選項，並可以建立強制訂閱:

成功建立了發布以後,發布伺服器上新增加了一個作業: [ 失效訂閱清除 ]

分發伺服器上新增加了兩個作業:

[ jin001-dack-dack-5 ] 類型[ repl快照 ]

[ jin001-dack-3 ] 類型[ repl日誌讀取器 ]

上面藍色字的名稱會根據發布伺服器名,發布名及第幾次發布而使用不同的編號

repl快照作業是sql server復制的前提條件,它會先把發布的表結構,數據,索引,約束等生成到發布伺服器的os目錄下文件

(當有訂閱的時候才會生成, 當訂閱請求初始化或者按照某個時間表調度生成)

repl日誌讀取器在事務復制的時候是一直處於運行狀態。(在合並復制的時候可以根據調度的時間表來運行)

建立一個資料庫復制訂閱的過程:

[復制] -> [訂閱] -> 右鍵選擇 -> [新建請求訂閱]

-> [下一步] -> [查找發布] -> [查看已注冊伺服器所做的發布]

-> [下一步] -> [選擇發布] -> [選中已經建立發布伺服器上的資料庫發布名]

-> [下一步] -> [指定同步代理程序登錄] -> [當代理程序連接到代理伺服器時:使用sql server身份驗證]

(輸入發布伺服器上distributor_admin用戶名和密碼)

-> [下一步] -> [選擇目的資料庫] -> [選擇在其中創建訂閱的資料庫名]/[也可以新建一個庫名]

-> [下一步] -> [允許匿名訂閱] -> [是，生成匿名訂閱]

-> [下一步] -> [初始化訂閱] -> [是，初始化架構和數據]

-> [下一步] -> [快照傳送] -> [使用該發布的默認快照文件夾中的快照文件]

(訂閱伺服器要能訪問發布伺服器的repldata文件夾，如果有問題，可以手工設置網路共享及共享許可權)

-> [下一步] -> [快照傳送] -> [使用該發布的默認快照文件夾中的快照文件]

-> [下一步] -> [設置分發代理程序調度] -> [使用下列調度] -> [更改] -> [例如每五分鍾調度一次]

-> [下一步] -> [啟動要求的服務] -> [該訂閱要求在發布伺服器上運行sqlserveragent服務]

-> [下一步] -> [完成] -> [確定]

成功建立了訂閱後，訂閱伺服器上新增加了一個類別是[repl-分發]作業(合並復制的時候類別是[repl-合並])

它會按照我們給的時間調度表運行資料庫同步復制的作業。

3、sql server復制配置好後, 可能出現異常情況的實驗日誌:

1.發布伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制沒有多大影響

中斷期間,分發和訂閱都接收到沒有復制的事務信息

2.分發伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制有一些影響

中斷期間,發布伺服器的事務排隊堆積起來

(如果設置了較長時間才刪除過期訂閱的選項, 繁忙發布資料庫的事務日誌可能會較快速膨脹),

訂閱伺服器會因為訪問不到發布伺服器,反復重試

我們可以設置重試次數和重試的時間間隔(最大的重試次數是9999, 如果每分鍾重試一次,可以支持約6.9天不出錯)

分發伺服器sql server服務啟動,網路接通以後,發布伺服器上的堆積作業將按時間順序作用到訂閱機器上:

會需要一個比較長的時間(實際上是生成所有事務的insert,update,delete語句,在訂閱伺服器上去執行)

我們在普通的pc機上實驗的58個事務100228個命令執行花了7分28秒.

3.訂閱伺服器斷網,sql server服務關閉,重啟動,關機的時候,對已經設置好的復制影響比較大,可能需要重新初試化

我們實驗環境(訂閱伺服器)從18:46分意外停機以, 第二天8:40分重啟動後, 已經設好的復制在8:40分以後又開始正常運行了, 發布伺服器上的堆積作業將按時間順序作用到訂閱機器上, 但復制管理器里出現快照的錯誤提示, 快照可能需要重新初試化,復制可能需要重新啟動.(我們實驗環境的機器並沒有進行快照初試化,復制仍然是成功運行的)

4、刪除已經建好的發布和定閱可以直接用delete刪除按鈕

我們最好總是按先刪定閱，再刪發布，最後禁用發布的順序來操作。

如果要徹底刪去sql server上面的復制設置, 可以這樣操作:

[復制] -> 右鍵選擇 [禁用發布] -> [歡迎使用禁用發布和分發向導]

-> [下一步] -> [禁用發布] -> [要在"@servername"上禁用發布]

-> [下一步] -> [完成禁用發布和分發向導] -> [完成]

我們也可以用t-sql命令來完成復制中發布及訂閱的創建和刪除, 選中已經設好的發布和訂閱, 按屬標右鍵可以[生成sql腳本]。(這里就不詳細講了, 後面推薦的網站內有比較詳細的內容)

當你試圖刪除或者變更一個table時，出現以下錯誤

server: msg 3724, level 16, state 2, line 1

cannot drop the table 'object_name' because it is being used for replication.

比較典型的情況是該table曾經用於復制，但是後來又刪除了復制。

處理辦法：

select * from sysobjects where replinfo >'0'

sp_configure 'allow updates', 1

go

reconfigure with override

go

begin transaction

update sysobjects set replinfo = '0' where replinfo >'0'

commit transaction

go

rollback transaction

go

sp_configure 'allow updates', 0

go

reconfigure with override

go

『叄』 mysql如何實現兩個資料庫數據結構實時同步

1、如果RDS上的數據沒有發生增刪改的操作的話，可以生成物理備份或者邏輯備份，然後將物理備份和邏輯備份通過Xtrabackup或者mysqlmp將數據導入到自建庫。

2、如果在物理備份已經生成後對於資料庫仍然有增刪改的操作的話，則需要您在恢復物理備份後還需要追加後續的binlog文件，可以通過API/控制台獲取binlog文件去追加增量數據。

這里有一個非常需要注意的一點是在解壓出來物理備份文件後除了數據和索引文件外還有得到如下圖中的一些文件。

用戶在應用binlog的時候需要兩個pos點都測試一下，哪個pos點可以在binlog中找到從這個pos點開始應用binlog。

3、用戶想要將RDS上的增量數據同步在自建庫的binlog上可以使用DTS的數據訂閱功能，可以通過SDK消費增量數據即可再自己應用該數據。