tidb dumping 工具加上 where 条件后针对亿级别的大表导出时的效率比较低,没有 mysqldump 快,经观察应该是全表扫描后然后再拆批,是否可以根据 where 条件后的条件通过索引找出相关数据后再拆批?希望确认下
dumpling 对大表会自动拆批的,请使用 -r 选项
-r 用于开启表内并发加速导出。默认值是 0
,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 -r
参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键是 INT 的场景,该参数也有表内并发效果。
参考:https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#dumpling-主要选项表
奥,加上where 条件后不行,我没看到后边的,不好意思
这个命令本身就是逻辑导出吧。逻辑导出本来就没有br速度快
可以分片啊,并发,逻辑肯定没有物理块