dm合表问题？

🪐 TiDB 技术问题 备份&数据迁移
1

image.png
image.png1050×413 23.4 KB

1、为什么新增分表要这么麻烦，dm不能自动同步新增的分表？

2、–binlog-pos=mysql-bin|000001.000003:3270，mysql-bin|000001.000003这个是什么意思mysql binlog文件名？

2

其实细看下就是需要保证你的 task 分表规则要能匹配到新表

可以看下 query-status 里面有此类信息。

3

貌似没看到啊，正常binlog的文件名不是mysql-bin.000001这样的么？这个mysql-bin|000001.000003:3270中3270应该是position，但是|000001.000003是文件名么？如果我要跳过下面的报错信息要怎么写对应的binlog-pos？

» query-status gamelab01-task01
{
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "",
            "sourceStatus": {
                "source": "gamelab01",
                "worker": "worker1",
                "result": null,
                "relayStatus": null
            },
            "subTaskStatus": [
                {
                    "name": "gamelab01-task01",
                    "stage": "Paused",
                    "unit": "Sync",
                    "result": {
                        "isCanceled": false,
                        "errors": [
                            {
                                "msg": "current location position: (mysql-bin.000006, 65228426), gtid-set: 9c656ea1-9999-11ea-9641-74867af4110d:1,915a5f85-8fd9-4820-b112-2d296273ece1:1-146717: cannot track DDL: ALTER TABLE `gamelab`.`g_users` DROP INDEX `idx_uid_channelid`: [ddl:1091]index idx_uid_channelid doesn't exist",
                                "error": null
                            }
                        ],
                        "detail": null
                    },
                    "unresolvedDDLLockID": "",
                    "sync": {
                        "totalEvents": "0",
                        "totalTps": "0",
                        "recentTps": "0",
                        "masterBinlog": "(mysql-bin.000006, 65431277)",
                        "masterBinlogGtid": "915a5f85-8fd9-4820-b112-2d296273ece1:1-147164,9c656ea1-9999-11ea-9641-74867af4110d:1",
                        "syncerBinlog": "(mysql-bin.000006, 65228229)",
                        "syncerBinlogGtid": "915a5f85-8fd9-4820-b112-2d296273ece1:1-146716,9c656ea1-9999-11ea-9641-74867af4110d:1",
                        "blockingDDLs": [
                        ],
                        "unresolvedGroups": [
                            {
                                "target": "`gamelab`.`g_users`",
                                "DDLs": [
                                    "ALTER TABLE `gamelab`.`g_users` DROP INDEX `idx_uid_channelid`"
                                ],
                                "firstLocation": "position: (mysql-bin.000006, 65228290), gtid-set: 915a5f85-8fd9-4820-b112-2d296273ece1:1-146716,9c656ea1-9999-11ea-9641-74867af4110d:1",
                                "synced": [
                                    "`gamelab`.`g_users`"
                                ],
                                "unsynced": [
                                    "`gamelab`.`g_users_1100`",
                                    "`gamelab`.`g_users_1101`",
                                    "`gamelab`.`g_users_1102`"
                                ]
                            }
                        ],
                        "synced": false,
                        "binlogType": "remote"
                    }
                }
            ]
        }
    ]
}
4

https://docs.pingcap.com/zh/tidb-data-migration/v2.0/handle-failed-sql-statements#命令用法

以实际的 query-status 输出为准即可，应该已经优化了。

5 
Release Version: v2.0.0-beta.2
Git Commit Hash: e1c5376b4d3d31c353c6431d3eb9e91dc0608105
Git Branch: master
UTC Build Time: 2020-06-19 02:26:16
Go Version: go version go1.13 linux/amd64

这个版本貌似没看到handle-error命令？

6

我自己使用下面命令，也不能跳过这条语句：

sql-skip -s gamelab01 -b mysql-bin.000006:65228290 gamelab01-task01
7

你好，

  1. 请使用 dm 最新版本吧，这个 beta 问题比较多，升级之后应该可以使用
  2. 也可以使用 filter 忽略该 ddl，同步过后，按需求可以在去掉
    https://docs.pingcap.com/zh/tidb-data-migration/v2.0/task-configuration-file-full
8

能不能无缝升级？就是说能不能兼容beta版本？

9

你好，
tidb-ansible 部署可以使用 import 将环境导入到 tiup，升级步骤可以参考 ：
https://docs.pingcap.com/zh/tidb-data-migration/v2.0/manually-upgrade-dm-1.0-to-2.0

10

如果不是ansible部署，是二进制安装的，能不能升级？

11

从原理上可以停止 task 任务，记录 dm_meta 数据库下位点信息，使用 tiup 重新部署集群，从上述位点进行同步

12

好的，多谢多谢

13

:+1::+1::+1::+1:，问题欢迎开新帖继续提问，

14

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。