[kv:8025]entry too large, the max entry size is 6291456, the size of data is 7890542

【 TiDB 版本】
TiDB v6.1.0
DM v6.1.0

【遇到的问题】
DM同步的时候出现单个key超过最大限制的错误,如下:

“errors”: [
{
“ErrCode”: 50000,
“ErrClass”: “not-set”,
“ErrScope”: “not-set”,
“ErrLevel”: “high”,
“Message”: “[kv:8025]entry too large, the max entry size is 6291456, the size of data is 7890542”,
“RawCause”: “”,
“Workaround”: “”
}
],

排查是否真的是TiDB的问题,生成一个大字段并插入TiDB:

[2022/07/04 09:15:22.423 +08:00] [INFO] [2pc.go:629] [“[BIG_TXN]”] [session=6284447824554729039] [“key sample”=748000000000000ad95f728000000000000003] [size=37119529] [keys=1] [puts=1] [dels=0] [locks=0] [checks=0] [txnStartTS=434345691549007898]

显示插入数据库是成功的,查询也是有数据的。TiDB相关参数如下:

+------+---------------------+--------------------------------------+-----------+
| Type | Instance            | Name                                 | Value     |
+------+---------------------+--------------------------------------+-----------+
| tidb | xxxxx:4000     | performance.txn-entry-size-limit     | 125829120 |
| tikv | xxxxx:20161 | raftstore.raft-entry-max-size        | 128MiB    |
+------+---------------------+--------------------------------------+-----------+

提了个bug:the 'txn-entry-size-limit' config is not effective in DM · Issue #6161 · pingcap/tiflow · GitHub

DM版本回退到v5.4.1后,同步恢复正常。

是否有很多表同步?

500多张表;怀疑是DM6.1内部做了txn-entry-size-limit限制,直接返回了,还没有到达TiDB执行

报错是 tidb 的报错,能确认上游执行的事务不超过 TiDB 的限制吗

TiDB限制我已经调到120MB了,同步的数据只有7兆多,不会超过限制的;降级到5.4.1之后,同步就正常了

确认了一下,是 DM 内部的限制,后续会修复

好的,感觉6.1版本不是很稳定啊,已经好几个问题了:thinking:

感谢反馈,您可以在 https://github.com/pingcap/tiflow/issues/6161 查看修复进度

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。