數據同步有哪些

1. OPPO手機雲同步數據是什麼/怎麼操作/怎麼同步/哪些數據能同步

OPPO手機開啟雲同步後：
1、將自動上傳數據到雲端；
2、手機上新增、修改、刪除數據時，雲端也會新增、修改刪除相同的數據；
3、在雲端新增、修改、刪除數據時，雲端也會新增、修改、刪除相同數據；
4、誤刪除的數據，可以在雲端回收站中恢復。
可同步數據如下：
1、ColorOS 6.0:照片、聯系人、便簽、日歷、瀏覽器、WLAN；
2、ColorOS 5.2:照片、聯系人、便簽、日歷、瀏覽器(書簽和資訊）；
3、ColorOS 3.1-ColorOS 5.2:照片、聯系人、便簽、日歷、瀏覽器(書簽和資訊）；
4、ColorOS 3.0:聯系人、便簽、日歷、瀏覽器(書簽）。

2. 大數據常用同步工具

一、離線數據同步

DataX

阿里的Datax是比較優秀的產品，基於python，提供各種數據村塾的讀寫插件，多線程執行，使用起來也很簡單，操作簡單通常只需要兩步；

創建作業的配置文件（json格式配置reader,writer）；

啟動執行配置作業。

非常適合離線數據，增量數據可以使用一些編碼的方式實現，

缺點：僅僅針對insert數據比較有效，update數據就不適合。缺乏對增量更新的內置支持，因為DataX的靈活架構，可以通過shell腳本等方式方便實現增量同步。

參考資料：

github地址：https://github.com/alibaba/DataX

dataX3.0介紹：https://www.jianshu.com/p/65c440f9bce1

datax初體驗：https://www.imooc.com/article/15640

文檔：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關系型資料庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型資料庫中。

地址：http://sqoop.apache.org/

Sqoop導入：導入工具從RDBMS到HDFS導入單個表。表中的每一行被視為HDFS的記錄。所有記錄被存儲在文本文件的文本數據或者在Avro和序列文件的二進制數據。

Sqoop導出：導出工具從HDFS導出一組文件到一個RDBMS。作為輸入到Sqoop文件包含記錄，這被稱為在表中的行。那些被讀取並解析成一組記錄和分隔使用用戶指定的分隔符。

Sqoop支持全量數據導入和增量數據導入（增量數據導入分兩種，一是基於遞增列的增量數據導入（Append方式）。二是基於時間列的增量數據導入（LastModified方式）），同時可以指定數據是否以並發形式導入。

Kettle

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。

Kettle的Spoon有豐富的Steps可以組裝開發出滿足多種復雜應用場景的數據集成作業，方便實現全量、增量數據同步。缺點是通過定時運行，實時性相對較差。

NiFi

Apache NiFi 是一個易於使用、功能強大而且可靠的數據拉取、數據處理和分發系統，用於自動化管理系統間的數據流。它支持高度可配置的指示圖的數據路由、轉換和系統中介邏輯，支持從多種數據源動態拉取數據。

NiFi基於Web方式工作，後台在伺服器上進行調度。 用戶可以為數據處理定義為一個流程，然後進行處理，後台具有數據處理引擎、任務調度等組件。

幾個核心概念：

Nifi 的設計理念接近於基於流的編程 Flow Based Programming。

FlowFile：表示通過系統移動的每個對象，包含數據流的基本屬性

FlowFile Processor（處理器）：負責實際對數據流執行工作

Connection（連接線）：負責不同處理器之間的連接，是數據的有界緩沖區

Flow Controller（流量控制器）：管理進程使用的線程及其分配

Process Group（過程組）：進程組是一組特定的進程及其連接，允許組合其他組件創建新組件

參考資料

Nifi簡介及核心概念整理

官方網站：http://nifi.apache.org/index.html

二、實時數據同步

實時同步最靈活的還是用kafka做中間轉發，當數據發生變化時，記錄變化到kafka，需要同步數據的程序訂閱消息即可，需要研發編碼支持。這里說個mysql資料庫的同步組件，阿里的canal和otter

canal

https://github.com/alibaba/canal

數據抽取簡單的來說，就是將一個表的數據提取到另一個表中。有很多的ETL工具可以幫助我們來進行數據的抽取和轉換，ETL工具能進行一次性或者定時作業抽取數據，不過canal作為阿里巴巴提供的開源的數據抽取項目，能夠做到實時抽取，原理就是偽裝成mysql從節點，讀取mysql的binlog，生成消息，客戶端訂閱這些數據變更消息，處理並存儲。下面我們來一起搭建一下canal服務

早期，阿里巴巴B2B公司因為存在杭州和美國雙機房部署，存在跨機房同步的業務需求。不過早期的資料庫同步業務，主要是基於trigger的方式獲取增量變更，不過從2010年開始，阿里系公司開始逐步的嘗試基於資料庫的日誌解析，獲取增量變更進行同步，由此衍生出了增量訂閱&消費的業務，從此開啟了一段新紀元。

ps. 目前內部版本已經支持mysql和oracle部分版本的日誌解析，當前的canal開源版本支持5.7及以下的版本(阿里內部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基於日誌增量訂閱&消費支持的業務：

資料庫鏡像

資料庫實時備份

多級索引 (賣家和買家各自分庫索引)

search build

業務cache刷新

價格變化等重要業務消息

otter

https://github.com/alibaba/otter

otter是在canal基礎上又重新實現了可配置的消費者，使用otter的話，剛才說過的消費者就不需要寫了，而otter提供了一個web界面，可以自定義同步任務及map表。非常適合mysql庫之間的同步。

另外：otter已在阿里雲推出商業化版本 數據傳輸服務DTS， 開通即用，免去部署維護的昂貴使用成本。DTS針對阿里雲RDS、DRDS等產品進行了適配，解決了Binlog日誌回收，主備切換、VPC網路切換等場景下的同步高可用問題。同時，針對RDS進行了針對性的性能優化。出於穩定性、性能及成本的考慮，強烈推薦阿里雲用戶使用DTS產品。

3. 比較好用的資料庫同步軟體又哪些

可以試試DBSync，主要特點：
●獨立運行
不需要在資料庫中設置程序或腳本，不需要更改庫結構，是一款獨立的應用程序，因此不影響現有系統的運行，簡單易用。
●支持各種數據源
既支持常規資料庫，如Access、SQL Server、Oracle、MySQL、DB2等，又支持Excel、txt、csv等文件數據，任何可用OLE DB或ODBC連接的數據，均可參與同步。
●異型資料庫同步
既支持相同類型資料庫之間的同步，如Access到Access、SQL Server到SQL Server，又支持異型資料庫之間的同步，如Excel到Access、Access到SQL Server、SQL Server到Oracle等。
●無人值守同步
軟體具有定期自動同步的功能，只需預先設置好時間間隔，就可長期自動同步；支持系統重啟後自動繼續同步，防止意外關機重啟而造成同步中斷，從而實現無人值守同步。
●支持增量同步
既支持簡單的全部復制式同步（Insert），又支持增量同步。軟體能快速掃描資料庫，找出相互間的差異（即增量），只對增量進行同步。
●支持斷點續傳
當同步中斷後，再次同步時能從中斷位置繼續同步，避免每次都需要從頭開始。
●秒級實時同步
重復同步的時間間隔最短可設置為1秒，源資料庫發生變更後，1秒後就同步過去，幾乎等同於實時同步。
●支持同步後處理
可設置同步後的SQL執行語句，實現同步之後的數據轉換、公式計算等額外任務。

4. 手機通訊錄同步備份的軟體有哪些

可以使用蘋果自帶的icloud進行雲備份，以蘋果XS MAX為例，操作步驟如下：

1、在手機中找到並打開設置app；