查询导出大量数据

【 TiDB 使用环境】
TiKV,无TiFlash,32C 64G

【现象】 业务和数据库现象
分页查询导出业务数据到Excel慢

【TiDB 版本】
5.7.25-TiDB-v4.0.10

目前通过分页查询、每页10000导出业务数据到Excel慢,尤其分页数大的情况下明显,Mysql还能通过排序最后的业务id作为下次请求的初始id作为条件,表的id递增,TiDB是按照region分段id,不是连续递增的,请问对于这种批量导出有什么好的建议。

分页优化嘛,很多方案的,可以参考下规范中的描述:

https://asktug.com/t/topic/93819

业务是多表关联,有个头表、明细表,还有配置表、权限表,目前是按照创建时间排序。
如果按照上面按照id排序分页处理,这样数据不能按照时间顺序展示;如果按照时间排序分页处理,批量操作的数据时间一样,可能会导致多页有相同数据。
另外,是不是建议做成大款表,这样就只有3个表(头表、明细表、权限表)关联。

这个得看场景的需求拉,怎么合适怎么来

拍平做成大宽表也可以,要平衡下数据副本占用量 和 计算成本了

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。