DM迁移MySQL在unit为Load时报错

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
tidb version: v5.2.2
dm v1.8.0
【概述】 场景 + 问题概述
dm 同步作业出错,使用跳过命令无效

【备份和数据迁移策略逻辑】
过滤 目标库下指定的表
【错误信息】 同步时错误信息
“errors”: [
{
“ErrCode”: 10006,
“ErrClass”: “database”,
“ErrScope”: “downstream”,
“ErrLevel”: “high”,
“Message”: “file mall.mall_order_info.0000000000003.sql: execute statement failed: commit”,
“RawCause”: “Error 1062: Duplicate entry ‘1744265’ for key ‘PRIMARY’”,
“Workaround”: “”
},
{
“ErrCode”: 10006,
“ErrClass”: “database”,
“ErrScope”: “downstream”,
“ErrLevel”: “high”,
“Message”: “file mall.mall_order_info.0000000000002.sql: execute statement failed: commit”,
“RawCause”: “Error 1062: Duplicate entry ‘1673282’ for key ‘PRIMARY’”,
“Workaround”: “”
},
{
“ErrCode”: 10006,
“ErrClass”: “database”,
“ErrScope”: “downstream”,
“ErrLevel”: “high”,
“Message”: “file mall.mall_order_info.0000000020000.sql: execute statement failed: commit”,
“RawCause”: “Error 1062: Duplicate entry ‘2055590’ for key ‘PRIMARY’”,
“Workaround”: “”
}
],
【现象】 业务和数据库现象
同步无法进行
【问题】 当前遇到的问题

【业务影响】
实时查询业务不能进行
【TiDB 版本】

【附件】
dm_error.log (3.1 KB)

针对 unit 为 Load 出错时 skip 无效,有文档或者具体的解决方法么

这个可能是设计上的问题
1)上游有多少个mysql实例?是否是分库分表合并到下游tidb的场景?
2)如果不是分库分表合并场景,那dm是如何连接下游tidb-server的? 是否是通过HA haproxy模式?
3)如果是分库分表合并场景,那上游mysql实例中的PK是否是分布式PK(类似雪花ID),并且上游表中的auto_increment字段在下游tidb中一定是个普通字段,并且不能有约束(PK或者UK)。

两个worker 一个worker 对应一个实例;
不是分库分表的场景;
dm是直连到 tidb-server的;
这个问题已经解决了。之前有同步过测试库的表,现在同步线上的表一定重复。
我的操作是停止同步任务,解除 source-id 绑定。(因为只有一个worker可以)
删除目标库(tidb),启动同步任务,查询就正常了
现在有个问题想请教一下的。我这边在同步的时候可以指定同步条件么?
比如说,我现在要同步归档表的数据,仅同步 2021 年之前的数据,应该在哪里配置。我看配置的只有 事件(操作的过滤)库表的过滤,和路由规则的过滤,没有查询条件这样的过滤
不知道我这样写是否可以支持
expression-filter: # 定义数据源迁移行变更的过滤规则,可以定义多个规则

过滤 mall.mall_order_info_history 的 create_time 小于今年的(2021年)

even_c: # 规则名称
schema: “mall” # 要匹配的上游数据库库名,不支持通配符匹配或正则匹配
table: “mall_order_info_history” # 要匹配的上游表名,不支持通配符匹配或正则匹配
insert-value-expr: “create_time < 2020-12-31 23:59:59”

https://docs.pingcap.com/zh/tidb-data-migration/stable/feature-expression-filter#配置示例 看看表达式过滤

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。