DM迁移MySQL到TiDB可以限制流量吗?

在用DM工具迁移MySQL数据库到TiDB的时候,DM上可以添加限流配置吗?比如限制网络流量啥的,限制使用CPU使用核数?

【 TiDB 使用环境】生产\测试环境\ POC
【 TiDB 版本】
【遇到的问题】
【复现路径】做过哪些操作出现的问题
【问题现象及影响】
【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

可以参考官网 DM 配置优化,
来设置和调整 rows chunk-filesize pool-size batch等相关参数来限制导出导入速度:
https://docs.pingcap.com/zh/tidb/stable/dm-tune-configuration#dm-配置优化

DM 配置模板可参考:
https://docs.pingcap.com/zh/tidb/stable/task-configuration-file-full

可以限制流量的


CPU核数是使用threads来限制吧,但是mysql和tidb之间传输的网络流量是通过哪个参数配置呢?

我看了楼上老师官网的配置,但还是不太明白是哪个参数限制mysql和tidb之间网络传输流量?
因为是线上环境,不希望网卡流量跑满,怕影响其他服务使用。

增加max-allowed-packet看看

这2个参数不是限制流量的 但是是限制对网络流量应该会有间接的作用

这个参数首先只作用在tidb一侧,另外这个参数只是sql涉及的结果集的大小吧,本身和网络限流没啥关系吧。

您说的这个是增量的,应该会有间接作用,但是我主要是限制DM全量迁移的时候网络传输的流量,降低对业务的影响。

目前应该只能设置mydumper的threads,比如设置成1或者2来降低网络流量

那你调调试试

这里应该没有直接限制网络流量的参数,可以调整threads、chuck-filesize结合监控看看

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。