数据同步有哪些

1. OPPO手机云同步数据是什么/怎么操作/怎么同步/哪些数据能同步

OPPO手机开启云同步后：
1、将自动上传数据到云端；
2、手机上新增、修改、删除数据时，云端也会新增、修改删除相同的数据；
3、在云端新增、修改、删除数据时，云端也会新增、修改、删除相同数据；
4、误删除的数据，可以在云端回收站中恢复。
可同步数据如下：
1、ColorOS 6.0:照片、联系人、便签、日历、浏览器、WLAN；
2、ColorOS 5.2:照片、联系人、便签、日历、浏览器(书签和资讯）；
3、ColorOS 3.1-ColorOS 5.2:照片、联系人、便签、日历、浏览器(书签和资讯）；
4、ColorOS 3.0:联系人、便签、日历、浏览器(书签）。

2. 大数据常用同步工具

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，操作简单通常只需要两步；

创建作业的配置文件（json格式配置reader,writer）；

启动执行配置作业。

非常适合离线数据，增量数据可以使用一些编码的方式实现，

缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。

参考资料：

github地址：https://github.com/alibaba/DataX

dataX3.0介绍：https://www.jianshu.com/p/65c440f9bce1

datax初体验：https://www.imooc.com/article/15640

文档：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

地址：http://sqoop.apache.org/

Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。

Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。

NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。

NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。

几个核心概念：

Nifi 的设计理念接近于基于流的编程 Flow Based Programming。

FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性

FlowFile Processor（处理器）：负责实际对数据流执行工作

Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区

Flow Controller（流量控制器）：管理进程使用的线程及其分配

Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件

参考资料

Nifi简介及核心概念整理

官方网站：http://nifi.apache.org/index.html

二、实时数据同步

实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter

canal

https://github.com/alibaba/canal

数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务：

数据库镜像

数据库实时备份

多级索引 (卖家和买家各自分库索引)

search build

业务cache刷新

价格变化等重要业务消息

otter

https://github.com/alibaba/otter

otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。

另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。

3. 比较好用的数据库同步软件又哪些

可以试试DBSync，主要特点：
●独立运行
不需要在数据库中设置程序或脚本，不需要更改库结构，是一款独立的应用程序，因此不影响现有系统的运行，简单易用。
●支持各种数据源
既支持常规数据库，如Access、SQL Server、Oracle、MySQL、DB2等，又支持Excel、txt、csv等文件数据，任何可用OLE DB或ODBC连接的数据，均可参与同步。
●异型数据库同步
既支持相同类型数据库之间的同步，如Access到Access、SQL Server到SQL Server，又支持异型数据库之间的同步，如Excel到Access、Access到SQL Server、SQL Server到Oracle等。
●无人值守同步
软件具有定期自动同步的功能，只需预先设置好时间间隔，就可长期自动同步；支持系统重启后自动继续同步，防止意外关机重启而造成同步中断，从而实现无人值守同步。
●支持增量同步
既支持简单的全部复制式同步（Insert），又支持增量同步。软件能快速扫描数据库，找出相互间的差异（即增量），只对增量进行同步。
●支持断点续传
当同步中断后，再次同步时能从中断位置继续同步，避免每次都需要从头开始。
●秒级实时同步
重复同步的时间间隔最短可设置为1秒，源数据库发生变更后，1秒后就同步过去，几乎等同于实时同步。
●支持同步后处理
可设置同步后的SQL执行语句，实现同步之后的数据转换、公式计算等额外任务。

4. 手机通讯录同步备份的软件有哪些

可以使用苹果自带的icloud进行云备份，以苹果XS MAX为例，操作步骤如下：

1、在手机中找到并打开设置app；