DM备份

🪐 TiDB 技术问题 备份&数据迁移
1

DM迁移的时候，报目标端表不存在，然后手动创建表后重启启动任务，还报表不存在。
“Message”: “[Lightning:Restore:ErrSchemaNotExists]table ailearn_test.intell_third_poll_data schema not found”

DM版本v1.10.3
TiDB版本v5.4.0

【 TiDB 使用环境】生产\测试环境\ POC
【 TiDB 版本】
【遇到的问题】
【复现路径】做过哪些操作出现的问题
【问题现象及影响】
【附件】

  • 相关日志、配置文件、Grafana 监控（https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控（如有 BR、TiDB-binlog、TiCDC 等）
  • 对应模块日志（包含问题前后 1 小时日志）

若提问为性能优化、故障排查类问题，请下载脚本运行。终端输出的打印结果，请务必全选并复制粘贴上传。

2

这个ddl文件生成了吗？

3

生成了的

4

dm迁移操作方便发一下么

5

可以看一下具体的配置吗

7

name: “ailearn-test”
task-mode: “all”
shard-mode: “pessimistic”
meta-schema: “dm_meta” # 将在下游数据库创建 schema 用于存放元数据
ignore-checking-items: [“auto_increment_ID”] # 本示例中上游存在自增主键，因此需要忽略掉

target-database:
host: “10.10.100.14”
port: 4000
user: “dm_worker”
password: “QInjI6TsmA+POyB7yKhauEAAqAx336rCMMgmzw==”

mysql-instances:

  • source-id: “mysql-ailearn-test”
    route-rules:
    [
    “route-rule-03”,
    “route-rule-10”,
    ]
    block-allow-list: “listA”

routes:
route-rule-03:
schema-pattern: “ailearn”
table-pattern: “global_id”
target-schema: “ailearn_test”
target-table: “global_id”
route-rule-10:
schema-pattern: “ailearn”
table-pattern: “intell_third_poll_data”
target-schema: “ailearn_test”
target-table: “intell_third_poll_data”

block-allow-list:
listA:
do-tables:
- db-name: “ailearn”
tbl-name: “global_id”
- db-name: “ailearn”
tbl-name: “intell_third_poll_data”

8

tiup dmctl --master-addr 127.0.0.1:8261 start-task task-ailearn-test.yaml
报错

image
image1720×953 188 KB

9

我把目标库和表都删了，重启任务，然后它会自动创建库和表，然后会报表不存在

10

可以发一下日志吗？我们看看是怎么回事

11

dm-worker_stderr.log (20.6 KB)

12

怎么说？看出什么问题了吗？我们的TiDB是5.4.0，dm是6.1.0的。早上有一个节点重启过

13

image
image2678×592 175 KB

14

image
image2774×1130 431 KB

15

手动创建后的表可以正常查询吗？DM迁移的时候所有表都不能成功吗？

16

① 表不存在的情况下，DM会去创建表，然后报上面错误。
② 手动创建表，也会报上面的错误。

17

DM版本是1.10.3？有这个吗？是1.0.3？

18

1.0.3的话
block-allow-list 如果 DM 版本 <= v1.0.6 则使用 black-white-list

19

shard-mode: “pessimistic” 这个我在1.0的下面没看到，2.0下面有 ，建议可以去掉
我不知道这是不是影响，可以先按标准版本的完整配置文件试试

20

image
image1086×100 5.63 KB

21

需要同一个目录下的另一个日志文件