⑴ mysql數據增量同步到hive
同步業務庫的數據到ODS層，之前一直是全量同步數據，主要考慮IO太大，耗時太長，重復拉取同樣的數據，現在考慮增量同步的腔握方式實現，同時對庫表數據做分區。
增量同步主要分為兩步，第一步，存量數據一次性同步；第二步，在存量數據的基礎之上，者液做增量；後期的每一次同步都是增量同步。以下是具體同步方案：
用Sqoop同步表中全部數據到Hive表中；
a．根據hive中最大更新時間，用Sqoop提取更新時間為這個時間之後的增量數據；
1）獲取表的所有列，把datetime和timestamp類型，統一在java中映射成TIMESTAMP類型，腳本如下：
2） 用sqoop import拉取數據，腳本如下：
1）創建增量同步的sqoop job，腳本如下：
a、從hive中獲取表的最大更新時間伍嫌慶
b、以上面獲取的最大更新時間，作為起點，創建sqoop job，腳本如下：
c、創建sqoop job之後，就是執行job了，腳本如下：
具體參數詳解，參考： https://www.cnblogs.com/Alcesttt/p/11432547.html
⑵ 用java實現對兩資料庫的數據同步更新，怎麼來做
首先得弄清楚 你的插入是對同一資料庫 還是不同資料庫的操作數據量大的時候專 是否要求即時性 是否牽屬扯到事物
本人推薦 做一個跑批程序 進行同步數據 這樣能提高代碼性能 以及程序性能 當然 你所說的瓶頸 無非就是大數據量對資料庫的操作次數 以及海量數據造成程序效率的一個瓶頸
⑶ java多線程更新資料庫批量的數據信息嗎怎麼實現
//將資料庫中的數據條數分段
public void division(){
//獲取要導入的總的數據條數
String sql3="SELECT count(*) FROM [CMD].[dbo].[my1]";
try {
pss=cons.prepareStatement(sql3);
rss=pss.executeQuery();
while(rss.next()){
System.out.println("總記錄條數:"+rss.getInt(1));
sum=rss.getInt(1);
}
//每30000條記錄作為一個分割點
if(sum>=30000){
n=sum/30000;
resie=sum%30000;
}else{
resie=sum;
}
System.out.println(n+" "+resie);
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
線程類
public MyThread(int start,int end) {
this.end=end;
this.start=start;
System.out.println("處理掉余數");
try {
System.out.println("--------"+Thread.currentThread().getName()+"------------");
Class.forName(SQLSERVERDRIVER);
System.out.println("載入sqlserver驅動...");
cons = DriverManager.getConnection(CONTENTS,UNS,UPS);
stas = cons.createStatement();
System.out.println("連接SQLServer資料庫成功！！");
System.out.println("載入mysql驅動.....");
Class.forName(MYSQLDRIVER);
con = DriverManager.getConnection(CONTENT,UN,UP);
sta = con.createStatement();
// 關閉事務自動提交
con.setAutoCommit(false);
System.out.println("連接mysql資料庫成功！！");
} catch (Exception e) {
e.printStackTrace();
}
// TODO Auto-generated constructor stub
}
public ArrayList<Member> getAll(){
Member member;
String sql1="select * from (select row_number() over (order by pmcode) as rowNum,*" +
" from [CMD].[dbo].[my1]) as t where rowNum between "+start+" and "+end;
try {
System.out.println("正在獲取數據...");
allmembers=new ArrayList();
rss=stas.executeQuery(sql1);
while(rss.next()){
member=new Member();
member.setAddress1(rss.getString("address1"));
member.setBnpoints(rss.getString("bnpoints"));
member.setDbno(rss.getString("dbno"));
member.setExpiry(rss.getString("expiry"));
member.setHispoints(rss.getString("hispoints"));
member.setKypoints(rss.getString("kypoints"));
member.setLevels(rss.getString("levels"));
member.setNames(rss.getString("names"));
member.setPmcode(rss.getString("pmcode"));
member.setRemark(rss.getString("remark"));
member.setSex(rss.getString("sex"));
member.setTelephone(rss.getString("telephone"));
member.setWxno(rss.getString("wxno"));
member.setPmdate(rss.getString("pmdate"));
allmembers.add(member);
// System.out.println(member.getNames());
}
System.out.println("成功獲取sqlserver資料庫數據！");
return allmembers;
} catch (SQLException e) {
// TODO Auto-generated catch block
System.out.println("獲取sqlserver資料庫數據發送異常！");
e.printStackTrace();
}
try {
rss.close();
stas.close();
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return null;
}
public void inputAll(ArrayList<Member> allmembers){
System.out.println("開始向mysql中寫入");
String sql2="insert into test.my2 values (?,?,?,?,?,?,?,?,?,?,?,?,?,?)";
try {
ps=con.prepareStatement(sql2);
System.out.println("-------------------------等待寫入數據條數: "+allmembers.size());
for(int i=0;i<allmembers.size();i++){
ps.setString(1, allmembers.get(i).getPmcode());
ps.setString(2, allmembers.get(i).getNames());
//System.out.println(allmembers.get(i).getNames());
ps.setString(3, allmembers.get(i).getSex());
ps.setString(4, allmembers.get(i).getTelephone());
ps.setString(5, allmembers.get(i).getAddress1());
ps.setString(6, allmembers.get(i).getPmdate());
ps.setString(7, allmembers.get(i).getExpiry());
ps.setString(8, allmembers.get(i).getLevels());
ps.setString(9, allmembers.get(i).getDbno());
ps.setString(10, allmembers.get(i).getHispoints());
ps.setString(11, allmembers.get(i).getBnpoints());
ps.setString(12, allmembers.get(i).getKypoints());
ps.setString(13, allmembers.get(i).getWxno());
ps.setString(14, allmembers.get(i).getRemark());
//插入命令列表
//ps.addBatch();
ps.executeUpdate();
}
//ps.executeBatch();
con.commit();
ps.close();
con.close();
this.flag=false;
System.out.println(Thread.currentThread().getName()+"--->OK");
} catch (SQLException e) {
// TODO Auto-generated catch block
System.out.println("向mysql中更新數據時發生異常！");
e.printStackTrace();
}
}
@Override
public void run() {
// TODO Auto-generated method stub
while(true&&flag){
this.inputAll(getAll());
}
}
⑷ java相關 求方法 實現資料庫數據同步
樓主用hibernate 所以說就不需要在手動管理connection的AutoCommit屬性了。不用觸發器的話，也好辦，不過可能麻煩一點。
假設你已經做好了表list1和list2 到對象list1和list2的映射。list1和list2配置成一對一映射，list2的主鍵也是list1的外鍵，生成機制由list1負責。級聯關系cascade屬性設置為all,也就是對list1操作的時候hibernate會級聯的操作它的附著物list2
那麼在操作對象list1基礎DAO中的曾刪改查方法中，同時操作list2對象即可。
以增加操作為例：
比如 new出來一個list1對象，然後充填屬性：
list1.setName("張三");
list1.setPwd("123456");
list1.getList2.setName(list1.getName());
list1.getList2.setpwd(list1.getPwd());
session.save(list1); //這里當持久化list1的時候，會級聯把list2也持久了
提交transaction
關鍵問題還是配置，比較麻煩 容易出錯。我對hibernate不是多了解，想的這個辦法可能比較笨，應該還有好的辦法來解決。等等高手來看看吧。
⑸ 用java 實現 h2資料庫和mysql資料庫實時數據同步
1、h2資料庫你寫一個類（例如：insert方法），mysql也寫一個my類（例如：insertmysql()），
當往h2資料庫執行插專入的時候屬 new ().inser(sql);
new my().insertmysql(sql);
2、也可以直接到資料庫操作寫存儲過程和游標自動同步。
3、使用第三方插件。有很多這樣子的平台做企業數據一體化的
⑹ java 如何並發更新資料庫同一條數據
寫一個方法用synchronized修飾
不同線程都調用這個方法
如
public synchronized void setData(String date){
版//更新數據操作權
}
public void main(){
new Thread("線程1"){
@Override
public void run() {
// TODO Auto-generated method stub
super.run();
//操作
setData("");
}
}.start();
new Thread("線程2"){
@Override
public void run() {
// TODO Auto-generated method stub
super.run();
//需要操作
setData("");
}
}.start();
}
⑺ java 分布式數據同步通過什麼實現的
Java是一種跨平台，適合於分布式計算環境的面向對象編程語言。
具體來說，它具有如下特性：
簡單性、面向對象、分布式、解釋型、可靠、安全、平台無關、可移植、高性能、多線程、動態性等。
下面我們將重點介紹Java語言的面向對象、平台無關、分布式、多線程、可靠和安全等特性。
1.面向對象
面向對象其實是現實世界模型的自然延伸。現實世界中任何實體都可以看作是對象。對象之間通過消息相互作用。另外，現實世界中任何實體都可歸屬於某類事物，任何對象都是某一類事物的實例。如果說傳統的過程式編程語言是以過程為中心以演算法為驅動的話，面向對象的編程語言則是以對象為中心以消息為驅動。用公式表示，過程式編程語言為：程序=演算法+數據；面向對象編程語言為：程序=對象+消息。
所有面向對象編程語言都支持三個概念：封裝、多態性和繼承，Java也不例外。現實世界中的對象均有屬性和行為，映射到計算機程序上，屬性則表示對象的數據，行為表示對象的方法（其作用是處理數據或同外界交互）。所謂封裝，就是用一個自主式框架把對象的數據和方法聯在一起形成一個整體。可以說，對象是支持封裝的手段，是封裝的基本單位。Java語言的封裝性較強，因為Java無全程變數，無主函數，在Java中絕大部分成員是對象，只有簡單的數字類型、字元類型和布爾類型除外。而對於這些類型，Java也提供了相應的對象類型以便與其他對象交互操作。
多態性就是多種表現形式，具體來說，可以用「一個對外介面，多個內在實現方法」表示。舉一個例子，計算機中的堆棧可以存儲各種格式的數據，包括整型，浮點或字元。不管存儲的是何種數據，堆棧的演算法實現是一樣的。針對不同的數據類型，編程人員不必手工選擇，只需使用統一介面名，系統可自動選擇。運算符重載（operatoroverload)一直被認為是一種優秀的多態機制體現，但由於考慮到它會使程序變得難以理解，所以Java最後還是把它取消了。
繼承是指一個對象直接使用另一對象的屬性和方法。事實上，我們遇到的很多實體都有繼承的含義。例如，若把汽車看成一個實體，它可以分成多個子實體，如：卡車、公共汽車等。這些子實體都具有汽車的特性，因此，汽車是它們的「父親」，而這些子實體則是汽車的「孩子」。Java提供給用戶一系列類（class），Java的類有層次結構，子類可以繼承父類的屬性和方法。與另外一些面向對象編程語言不同，Java只支持單一繼承。
2平台無關性
Java是平台無關的語言是指用Java寫的應用程序不用修改就可在不同的軟硬體平台上運行。平台無關有兩種：源代碼級和目標代碼級。C和C++具有一定程度的源代碼級平台無關，表明用C或C++寫的應用程序不用修改只需重新編譯就可以在不同平台上運行。
Java主要靠Java虛擬機（JVM）在目標碼級實現平台無關性。JVM是一種抽象機器，它附著在具體操作系統之上，本身具有一套虛機器指令，並有自己的棧、寄存器組等。但JVM通常是在軟體上而不是在硬體上實現。（目前，SUN系統公司已經設計實現了Java晶元，主要使用在網路計算機NC上。
另外，Java晶元的出現也會使Java更容易嵌入到家用電器中。）JVM是Java平台無關的基礎，在JVM上，有一個Java解釋器用來解釋Java編譯器編譯後的程序。Java編程人員在編寫完軟體後，通過Java編譯器將Java源程序編譯為JVM的位元組代碼。任何一台機器只要配備了Java解釋器，就可以運行這個程序，而不管這種位元組碼是在何種平台上生成的。另外，Java採用的是基於IEEE標準的數據類型。通過JVM保證數據類型的一致性，也確保了Java的平台無關性。
Java的平台無關性具有深遠意義。首先，它使得編程人員所夢寐以求的事情（開發一次軟體在任意平台上運行）變成事實，這將大大加快和促進軟體產品的開發。其次Java的平台無關性正好迎合了「網路計算機」思想。如果大量常用的應用軟體（如字處理軟體等）都用Java重新編寫，並且放在某個Internet伺服器上，那麼具有NC的用戶將不需要佔用大量空間安裝軟體，他們只需要一個
Java解釋器，每當需要使用某種應用軟體時，下載該軟體的位元組代碼即可，運行結果也可以發回伺服器。目前，已有數家公司開始使用這種新型的計算模式構築自己的企業信息系統。
3分布式
分布式包括數據分布和操作分布。數據分布是指數據可以分散在網路的不同主機上，操作分布是指把一個計算分散在不同主機上處理。
Java支持WWW客戶機/伺服器計算模式，因此，它支持這兩種分布性。對於前者，Java提供了一個叫作URL的對象，利用這個對象，你可以打開並訪問具有相同URL地址上的對象，訪問方式與訪問本地文件系統相同。對於後者，Java的applet小程序可以從伺服器下載到客戶端，即部分計算在客戶端進行，提高系統執行效率。
Java提供了一整套網路類庫，開發人員可以利用類庫進行網路程序設計，方便得實現Java的分布式特性。
4可靠性和安全性
Java最初設計目的是應用於電子類消費產品，因此要求較高的可靠性。Java雖然源於C++，但它消除了許多C++不可靠因素，可以防止許多編程錯誤。首先，Java是強類型的語言，要求顯式的方法聲明，這保證了編譯器可以發現方法調用錯誤，保證程序更加可靠；其次，Java不支持指針，這杜絕了內存的非法訪問；第三，Java的自動單元收集防止了內存丟失等動態內存分配導致的問題；第四，Java解釋器運行時實施檢查，可以發現數組和字元串訪問的越界，最後，Java提供了異常處理機制，程序員可以把一組錯誤代碼放在一個地方，這樣可以簡化錯誤處理任務便於恢復。
由於Java主要用於網路應用程序開發，因此對安全性有較高的要求。如果沒有安全保證，用戶從網路下載程序執行就非常危險。Java通過自己的安全機制防止了病毒程序的產生和下載程序對本地系統的威脅破壞。當Java位元組碼進入解釋器時，首先必須經過位元組碼校驗器的檢查，然後，Java解釋器將決定程序中類的內存布局，隨後，類裝載器負責把來自網路的類裝載到單獨的內存區域，避免應用程序之間相互干擾破壞。最後，客戶端用戶還可以限制從網路上裝載的類只能訪問某些文件系統。
上述幾種機制結合起來，使得Java成為安全的編程語言。
5多線程
線程是操作系統的一種新概念，它又被稱作輕量進程，是比傳統進程更小的可並發執行的單位。
C和C++採用單線程體系結構，而Java卻提供了多線程支持。
Java在兩方面支持多線程。一方面，Java環境本身就是多線程的。若干個系統線程運行負責必要的無用單元回收，系統維護等系統級操作；另一方面，Java語言內置多線程式控制制，可以大大簡化多線程應用程序開發。Java提供了一個類Thread，由它負責啟動運行，終止線程，並可檢查線程狀態。Java的線程還包括一組同步原語。這些原語負責對線程實行並發控制。利用Java的多線程編程介面，開發人員可以方便得寫出支持多線程的應用程序，提高程序執行效率。必須注意地是，Java的多線程支持在一定程度上受運行時支持平台的限制。例如，如果操作系統本身不支持多線程，Java的多線程特性可能就表現不出來。
希望對你有幫助！