lightning 导入大表,select count(*) 报错:Execution terminated due to exceeding the deadline

  • 【TiDB 版本】:4.0.4
  • 【问题描述】:统计一张表的行数
    SELECT COUNT(id) FROM table;
    报错> 1105 - Execution terminated due to exceeding the deadline

时间: 854.477s

您好,麻烦反馈下 explain sql 的结果,当前估算这张表有多少数据量?

一共5亿条左右

您好,请问下您这张表是通过 lightning 导入的吗?这里有一个类似问题,建议先手动 split region 之后,在看下 select count 结果。 checksum fails easily by tikv timeout when restore big table with local backend · Issue #365 · pingcap/tidb-lightning · GitHub

详细 split region 操作可参考官网 operator
https://docs.pingcap.com/zh/tidb/stable/pd-control#operator-check--show--add--remove

1 个赞

是的,是通过lightning导入的,好的

由于 lightning 在导入大表的时候,使用预估的方式切分 region, 如果数据分布本身较为不均匀的话,容易出现 region 大小不均衡的问题,已经有 pr 在优化这个问题了,当前需要您这边手动 split region。
optimize pr: https://github.com/pingcap/tidb-lightning/pull/369

1 个赞