【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
有个需求,需要在TiDB上导出一个大表,使用dumpling,运行时增多了慢查和响应时间,也触发了告警,有没有什么办法可以限制dumpling导出的速度
你dumping怎么写的
-t 默认64,你可以改成4。。。
好的,我试试
tiup dumpling -u xxx -P 4000 -h xxx -p ‘xxx’ --filetype csv -o /data/ -F 100MiB -t 2 -T xxx.xxx --tidb-mem-quota-query=1073741824 --consistency=auto
-t 写 1
-r 写 0
试试
300 大 MB 还好吧,也就 100 多兆每秒而已
1 个赞
-t 1 还不行的话,发点日志看看
可以不设置 -t
其实还想限速的话 还有个办法,dumpling 设置 session 参数,将 table scan 算子和 index scan 算子调为 1.
–params dumpling 参数官网看下 https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#dumpling-主要选项表
scan 算子是:https://docs.pingcap.com/zh/tidb/stable/system-variables#tidb_distsql_scan_concurrency
1 个赞
这个靠谱
tidb_distsql_scan_concurrency=1,tidb_mem_quota_query=209715200加了这些参数,也加和-T,也算实现了限速,再往下限就无能为力了。
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。