dm-v1.x同步的两个问题(dm-portal生成all和增量模式配置文件有问题)

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.2
  • 【问题描述】:1 上游的数据库名字包含"-“而不是下划线时,同步不过来
    2 对一个名称没有包含”-"的数据库,同步模式选择"全量"同步成功;但是如果同步模式选择"ALL"则报错,提示驱动非法连接. 内容见图.
    3 同步任务的yaml文件使用dm-portal工具生成

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

  1. dm-portel 可能有时候生成的模板有问题,之前有些问题是手工编辑后可以正常使用,建议手工按照文档编辑 task 试试
  2. 查看 task 任务,’’ ,"" 等是否正确,https://docs.pingcap.com/zh/tidb-data-migration/stable/task-configuration-file

:angry: 这么说dm-portal有问题了…文档那里木有说明啊 我把题目改一下 方便查询吧

我的意思是先检查一下配置文件是否和给出的配置一致,之前有过类似的问题,不一定是,先排查一下,多谢。

https://docs.pingcap.com/zh/tidb-data-migration/stable/task-configuration-file-full

加可能两个字哈
不用portal自动生成我手工编辑了也不行…
dm用1.0.6和2.0.2都不行.考虑重新做个环境再纯手工弄一下

  1. 能否麻烦您反馈下您的task文件,多谢。

旧环境混杂有ansible和binary 部署的dm,换了个新环境,用1.06的binary部署,而且不用dm-portal生成配置文件,纯手工编辑.
先是同步一个数据库名当中含有破折号"-"的库,失败;然后换一个没有破折号的数据库同步,成功了.
关于名字含有破折号的数据库同步失

败,在dmctl里的错误提示是这样的,见图

您好,您的问题可以在 mydumper 的配置下设置 extra-args 绕过该问题,详细可参考这个帖子。DM同步过程,数据库命名问题(带 - 中划线)

对于数据库名称含有"-"时同步失败的情况:
1、我用的是v1.0.6的版本,按照文档,可以不用配置extra-args ;不过不配置就报错,那还是配置吧。直接暴力指定数据库名,问题解决。配置见图。
2、虽然这样做可以解决问题,但是在task配置文件里mydumper和black-white-list重复指定数据库名称,不爽。

这个问题在 DM 2.0 已经解决了哈,DM 1.0 全量导出时使用的是 mydumper,DM 2.0 全量导出阶段使用的是 dumpling,在 2.0 时,只需要在 black-white-list 过滤即可。下周会发布 2.0 RC 版本,如果感兴趣可以测试一下。

2.0beta版也是用的mydumper吧?

dumpling

已经周五了 2.0rc在哪里????

正在准备中了,请关注 TiDB 官网,DM 新版本的发布状态 :grinning:~~