Some(RpcFailure(RpcStatus { code: 8-RESOURCE_EXHAUSTED, message

【 TiDB 使用环境】测试
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
【附件:截图/日志/监控】
tikv日志报错:[2023/05/10 15:33:02.963 +08:00] [ERROR] [raft_client.rs:450] [“connection aborted”] [addr=10.200.20.175:20160] [receiver_err=“Some(RpcFailure(RpcStatus { code: 8-RESOURCE_EXHAUSTED, message: "Sent message larger than max (10610761 vs. 10485760)", details: [] }))”] [sink_error=Some(RemoteStopped)] [store_id=1]

问题产生原因:在从mysql利用dm工具同步全量数据load时,发生报错,后面将tikv配置有做调:raftstore.raft-entry-max-size: 16M

Mysql 的版本号是多少?
另外截图一下 TiDB Dashboard ——>集群信息 (Cluster Info) ——>主机(Hosts) 看下你的配置情况

报错信息为 Sent message larger than max,提示发送的消息超过了最大限制。这个问题通常是由于 TiKV 的 raft-entry-max-size 参数设置过小导致的。raft-entry-max-size 参数控制了每个 Raft 日志条目的最大大小,如果超过了这个限制,就会导致上述报错。

在你的情况下,可能是在使用 DM 工具同步全量数据时,发送的消息大小超过了 TiKV 的 raft-entry-max-size 参数设置的大小。你已经将 raft-entry-max-size 参数设置为了 16M,这应该可以解决这个问题。不过,需要注意的是,将 raft-entry-max-size 参数设置得太大可能会导致 TiKV 的性能下降,因此需要根据实际情况进行调整。

mysql版本为5.6.23

把这个参数再调大些?

现在已经把dm停了,但一直还报这个错,是不是说明不是dm导致的?
[2023/05/10 16:13:52.267 +08:00] [ERROR] [raft_client.rs:450] [“connection aborted”] [addr=10.200.20.175:20160] [receiver_err=“Some(RpcFailure(RpcStatus { code: 8-RESOURCE_EXHAUSTED, message: "Sent message larger than max (10559474 vs. 10485760)", details: [] }))”] [sink_error=Some(RemoteStopped)] [store_id=1]

这个错误是由于 TiKV 发送的消息大小超过了最大限制,导致连接被中断。具体来说,这个错误信息中的 Sent message larger than max 表示发送的消息大小超过了最大限制,而 max 的值为 10485760,即 10MB。而实际发送的消息大小为 10610761,即超过了这个限制。

可以考虑调整 TiKV 的配置,增加 raft_max_size_per_msgraft_entry_max_size 的值,以支持更大的消息大小。具体来说,raft_max_size_per_msg 表示每个消息的最大大小,而 raft_entry_max_size 表示每个 Entry 的最大大小。可以根据实际情况适当调整这两个参数的值,以满足业务需求。

另外,如果这个错误发生比较频繁,可以考虑检查 TiKV 的监控和日志,分析可能的原因,例如是否存在大量的 region 合并或分裂等。


看看 raft_max_size_per_msg 这个值?

Sent message larger than max (21118886 vs. 10485760)", details: [] }))"] [sink_error=Some(RemoteStopped)] [store_id=1]

我已经改了,但好像没有生效?
image

这…重启了么…

如果重启没生效的话,估计需要请其他大佬来看看…

reload了

现在查询报:Region is unavailable, 报这个错

测试环境的话你先把参数改回去,看集群是否能够恢复,另外,影响的只是原因可能是这个参数, max-grpc-send-msg-len
改参数之前先看下报错,报错明显写着消息大于10M了,你改的那两个参数的默认值都不是10M,也不对啊