load data local导致大量regionMiss

(1)像这种大量 regionMiss 会导致集群什么问题?需要关注吗?
在读写的时候,会引发各种 backoff,会影响效率(可以参考你自己贴出的日志,基本上backoff 会占用很长时间)

(2)像这种 load 操作需要拆分成小文件导入吗?需要优化吗?
数据导入,需要根据你的实际环境和要求来定的,可以参考官方文档提供的数据来优化

(3)大的事务在tidb上最大的问题是什么?类上面load操作
最大的问题是物理内存不足,导致 OOM,或者事务失败

参考以下的参数:


https://docs.pingcap.com/zh/tidb/stable/tidb-configuration-file/#txn-total-size-limit

https://docs.pingcap.com/zh/tidb/stable/transaction-overview/#事务限制

image
https://docs.pingcap.com/zh/tidb/stable/migration-tidb-faq/#transaction-too-large-是什么原因怎么解决

如果更严重,会出现 backoff 超时,参考这篇文档:

3 个赞