tidb lightning增量导入失败

【 TiDB 使用环境】生产环境
【 TiDB 版本】V5.2.2
【复现路径】先做全量导入,后做增量导入
【遇到的问题:问题现象及影响】全量导入没问题,增量导入报错
【资源配置】
【附件:截图/日志/监控】



帮忙分析下,这是什么原因,导致增量导入不成功呢?

image
字段不存在?

根据提示 是表的字段缺失的问题。 table=pagoda_overall.goods_snapshot

local改成tidb模式。

表,本身就不存在这个列。

毕竟是实验特性,还是要慎用啊。可以dumpling备份

dumpling备份,也是用lightning增量导入吧?

:rofl: 我看错了,我以为你用的br。
我看报错都是在checksum,你用的是tidb模式吗

用是的local模式

local模式要求导入的表是空表。所以增量必须是tidb模式才行。

lightning支持增量导入吗?我记得是不支持的

现在在导全量,等下用tidb模式试下,看会不会报错

支持增量哈

能说说你增量备份和导入的过程吗?不知道你这个增量备份是怎么做的

dumpling导出按条件,比如create_at<=“XXXXXX”,增量导出的时候,大于create_at>“XXXXXX”,

那如果在全备之后,增量之前,表结构发生了变更,会不会出现你报错中的问题?

这个没测不知道,但是全量后,增量备份前,表结构一直都没变化,报这个错,就不知道什么原因了

可以比对一下两边的表结构,到底是不是一致

对表过了,是一致的

dumpling按条件备份,用lightning的tidb模式导入进去就行了