大批量数据写入,规避热点问题。

咨询个问题。我有1.4亿条的无索引数据,持续写入tidb。到后边写入很慢。我这个问题是写入热点导致的吗?
如果要规避这个问题在建表的时候增加上 这两个参数就好了吧。shard_row_id_bits = 4 pre_split_regions=3;
我的目前TIDB版本v5.2.0,Tikv是三节点的集群。

有可能是写入热点 region 导致的,可以在建表语句中加上 shard_row_id_bits 和 pre_split_regions ,需要注意 的是 tidb 中不太建议使用自增 int 主键。另外建议升级到 v5.2.1 版本,v5.2.0 中存在一些已知的 bug 。

1 个赞

先看下监控确认热点问题https://docs.pingcap.com/zh/tidb/dev/high-concurrency-best-practices

1 个赞

插之前先做split table操作对缓解大表插入热点问题有一定作用。
https://docs.pingcap.com/zh/tidb/stable/sql-statement-split-region#split-分区表的-region-示例

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。