dumpling如何限速,减少对生产上的影响

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
有个需求,需要在TiDB上导出一个大表,使用dumpling,运行时增多了慢查和响应时间,也触发了告警,有没有什么办法可以限制dumpling导出的速度

你dumping怎么写的

调整下这几个参数试试

-t 默认64,你可以改成4。。。

好的,我试试

tiup dumpling -u xxx -P 4000 -h xxx -p ‘xxx’ --filetype csv -o /data/ -F 100MiB -t 2 -T xxx.xxx --tidb-mem-quota-query=1073741824 --consistency=auto

改成-t 1还是流量过大

-t 写 1
-r 写 0
试试

300 大 MB 还好吧,也就 100 多兆每秒而已

1 个赞

-t 1 还不行的话,发点日志看看

可以不设置 -t

其实还想限速的话 还有个办法,dumpling 设置 session 参数,将 table scan 算子和 index scan 算子调为 1.

–params dumpling 参数官网看下 https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#dumpling-主要选项表

scan 算子是:https://docs.pingcap.com/zh/tidb/stable/system-variables#tidb_distsql_scan_concurrency

1 个赞

这个靠谱

tidb_distsql_scan_concurrency=1,tidb_mem_quota_query=209715200加了这些参数,也加和-T,也算实现了限速,再往下限就无能为力了。

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。