tidb-lightning 导入数据 kv 超过 6M

你好,tidb的key-value字段长度最大6m,现在全量导入tidb数据中存在字段大于6m的数据,tidb-lightning怎么截取数据?使得可以导入进去。

你好,

目前无法绕过这个限制,况且 6M 已经很大了

未来可能去掉该限制吧,可以持续关注下 release note

如果 kv 超过 6M 建议从表设计入手,优化表结构来解决。

目前老数据已经存在,现在需要导入tidb,怎么才能在全量导入tidb时,能进行下去,忽略这条数据也行,而不是报错,终止该表的导入。而且需要导入的数据,大小不一致,也没法找出来那些数据太长

你好,

烦请上传下 tidb-lightning 的报错日志,这边帮忙分析下。


就是这个,然后这个表的全量导入就停止了,怎么能让程序报错后继续下去

你好,

通过错误日志可以明确报错表为 :image

从表明看出可能是关于邮件的相关信息,存在答 value 的可能,建议 tidb-lightning 开始之前,在 mydumper 阶段忽略掉该表(或者在 dump dir 将其移除),后续进行单独导入,(如果在增量同步前没有处理完该表,那在增量同步的时候记得忽略该表哦)

tidb-lightning命令怎么后台运行啊?文档上没找到,nohup也不行


lightning-ctrl 命令报错,需要配置什么吗?

你好,

根据文档操作即可:https://pingcap.com/docs-cn/stable/reference/tools/tidb-lightning/deployment/

提示密码错误,可以看下 tidb-lightning.toml

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。