分片集群架构MongoDB的双向同步 - 数据传输服务 DTS

数据传输服务DTS（Data Transmission Service）支持云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。

前提条件

已创建源和目标云数据库MongoDB版分片集群实例，创建方式，请参见创建分片集群实例。

类型	说明
源和目标库的限制	带宽要求：源库所属的服务器需具备足够的出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。待同步集合中的_id字段需具有唯一性，否则可能会导致数据不一致。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000个集合。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。源库待同步的单条数据不能超过16 MB，否则会导致任务失败。源库不支持Azure Cosmos DB for MongoDB和弹性集群的Amazon DocumentDB。源库需开启Oplog日志，并确保Oplog日志至少保留7天以上，否则可能会因无法获取源库的数据变更而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由此导致的问题，不在DTS的SLA保障范围内。
其他限制	在任务开始前，需要为源端待同步的数据添加与目标端对应的分片键；在任务开始后，待同步的数据在使用INSERT命令时必须包含分片键，使用UPDATE命令时不支持更改分片键。建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。若目标集合存在唯一索引或目标集合的 `capped` 属性为 `true` 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。在DTS将数据写入目标集合时，如果发生主键或唯一键冲突，DTS将直接跳过相应的数据写入语句，保留目标集合已有的数据。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的目标端，同步过来的数据不会作为另一个任务的源数据继续同步。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%。目标端MongoDB的count数量需要使用 `db.$table_name.aggregate([{ $count:"myCount"}])` 语法查询。请确保目标端MongoDB没有与源端相同的主键（默认为_id），否则会导致数据丢失。若目标端有与源端相同的主键，请在不影响业务的前提下清空目标端的相关数据（删掉目标端中与源端相同_id的文档）。全量同步期间必须关闭源MongoDB数据库的均衡器（Balancer），直至每个子任务都运行到增量阶段，否则可能会造成数据不一致。关于均衡器的操作，请参见管理MongoDB均衡器Balancer 。若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），请勿在对象配置页面中勾选同步类型的库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。若实例运行失败，DTS技术支持人员将在8小时内尝试恢复该实例。在恢复失败实例的过程中，可能会对该实例进行重启、调整参数等操作。

同步类型	链路配置费用
库表结构同步和全量数据同步	不收费。
增量数据同步	收费，详情请参见计费概述。

同步类型	说明
库表结构同步	将源云数据库MongoDB版中同步对象的结构同步到目标云数据库MongoDB版中。
全量同步	将源云数据库MongoDB版同步对象的存量数据全部同步到目标云数据库MongoDB版中。
增量同步	在全量同步的基础上，将源云数据库MongoDB版的增量更新同步到目标云数据库MongoDB版中。

类别	配置	说明
无	任务名称	DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。
源库信息	选择已有连接信息	若您需要使用已录入系统（新建或保存）的数据库实例，请在下拉列表中选择所需的数据库实例，下方的数据库信息将自动进行配置。
	数据库类型	选择 MongoDB 。
	接入方式	选择云实例。
	实例地区	选择源云数据库MongoDB版所属地域。
	是否跨阿里云账号	本示例使用当前阿里云账号下的数据库实例，需选择不跨账号。
	架构类型	选择分片集群架构。
	迁移方式	选择 Oplog 。
	实例ID	选择源云数据库MongoDB版实例ID。
	鉴权数据库名称	填入源云数据库MongoDB版实例数据库账号所属的数据库名称，若未修改过则默认为admin。
	数据库账号	填入源云数据库MongoDB版的数据库账号，需具备待同步库、config库、admin库和local库的read权限。
	数据库密码	填入该数据库账号对应的密码。
	Shard账号	填入源云数据库MongoDB版的数据库Shard账号。
	Shard密码	填入源云数据库MongoDB版的数据库Shard密码。
	连接方式	DTS支持非加密连接、 SSL安全连接和 Mongo Atlas SSL 三种连接方式。连接方式的选项与接入方式和架构类型有关，请以控制台为准。
目标库信息	选择已有连接信息	若您需要使用已录入系统（新建或保存）的数据库实例，请在下拉列表中选择所需的数据库实例，下方的数据库信息将自动进行配置。
	数据库类型	选择 MongoDB 。
	接入方式	选择云实例。
	实例地区	选择目标云数据库MongoDB版所属地域。
	是否跨阿里云账号	本示例使用当前阿里云账号下的数据库实例，需选择不跨账号。
	架构类型	选择分片集群架构。
	实例ID	选择目标云数据库MongoDB版实例ID。
	鉴权数据库名称	填入目标云数据库MongoDB版实例数据库账号所属的数据库名称，若未修改过则默认为admin。
	数据库账号	填入目标云数据库MongoDB版的数据库账号，需具备dbAdminAnyDatabase权限、目标库的readWrite权限和local库的read权限。
	数据库密码	填入该数据库账号对应的密码。
	连接方式	DTS支持非加密连接、 SSL安全连接和 Mongo Atlas SSL 三种连接方式。连接方式的选项与接入方式和架构类型有关，请以控制台为准。

配置	说明
同步类型	固定选中增量同步。默认情况下，您还需要同时选中库表结构同步和全量同步。预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。
目标已存在表的处理模式	预检查并报错拦截：检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合，则通过该检查项目；如果目标数据库中有同名的集合，则在预检查阶段提示错误，数据同步任务不会被启动。
同步拓扑	请选择双向同步。
是否过滤DDL	选择为是：不同步DDL操作。选择为否：同步DDL操作。
冲突修复策略	如遇到以上支持的冲突检测，根据业务需要，选择合适的冲突修复策略。 TaskFailed （遇到冲突，任务报错退出）当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。 Ignore （遇到冲突，直接使用目标实例中的冲突记录）当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite （遇到冲突，直接覆盖目标实例中的冲突记录）当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。
源库对象	在源库对象框中单击待同步对象，然后单击将其移动至已选择对象框。
已选择对象	如需设置待同步对象在目标实例中的名称，或指定目标实例中接收数据的对象，请右击已选择对象中的同步对象进行修改。设置方式，请参见库表列名映射。如需移除已选择的同步对象，请在已选择对象框中单击待同步的对象，然后单击将其移动到源库对象框。

配置	说明
选择调度该任务的专属集群	DTS默认将任务调度到共享集群上，您无需选择。若您希望任务更加稳定，可以购买专属集群来运行DTS同步任务。更多信息，请参见什么是DTS专属集群。
源库、目标库无法连接后的重试时间	在同步任务启动后，若源库或目标库连接失败则DTS会报错，并会立即进行持续的重试连接，默认持续重试时间为720分钟，您也可以在取值范围（10~1440分钟）内自定义重试时间，建议设置30分钟以上。如果DTS在设置的重试时间内重新连接上源库、目标库，同步任务将自动恢复。否则，同步任务将会失败。
源库、目标库出现其他问题后的重试时间	在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重试时间，建议设置10分钟以上。如果DTS在设置的重试时间内相关操作执行成功，同步任务将自动恢复。否则，同步任务将会失败。
是否限制全量同步速率	在全量同步阶段，DTS将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。您可以根据实际情况，选择是否对全量同步任务进行限速设置（设置每秒查询源库的速率QPS 、每秒全量迁移的行数RPS 和每秒全量迁移的数据量(MB)BPS ），以缓解目标库的压力。
待同步的数据中，同一张表内主键_id的数据类型是否唯一	待同步的数据中，同一个集合内主键 `_id` 的数据类型是否唯一。
是否限制增量同步速率	您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置每秒增量同步的行数RPS 和每秒增量同步的数据量(MB)BPS ），以缓解目标库的压力。
环境标签	您可以根据实际情况，选择用于标识实例的环境标签。本示例无需选择。
配置ETL功能	选择是否配置ETL功能。关于ETL的更多信息，请参见什么是ETL 。是：配置ETL功能，并在文本框中填写数据处理语句，详情请参见在DTS迁移或同步任务中配置ETL 。否：不配置ETL功能。
监控告警	是否设置告警，当同步失败或延迟超过阈值后，将通知告警联系人。不设置：不设置告警。设置：设置告警，您还需要设置告警阈值和告警通知。更多信息，请参见在配置任务过程中配置监控告警。

类别	参数	说明
信息配置	计费方式	预付费（包年包月）：在新建实例时支付费用。适合长期需求，价格比按量付费更实惠，且购买时长越长，折扣越多。后付费（按量付费）：按小时扣费。适合短期需求，用完可立即释放实例，节省费用。
	资源组配置	实例所属的资源组，默认为 default resource group 。更多信息，请参见什么是资源管理。
	链路规格	DTS为您提供了不同性能的同步规格，同步链路规格的不同会影响同步速率，您可以根据业务场景进行选择。更多信息，请参见数据同步链路规格说明。
	订购时长	在预付费模式下，选择包年包月实例的时长和数量，包月可选择1~9个月，包年可选择1年、2年、3年和5年。

前提条件

注意事项

费用说明

支持的双向同步架构

支持的冲突检测

任务步骤说明

操作步骤

通过DTS控制台进入

通过DMS控制台进入