lightning

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】
【附件:截图/日志/监控】

tidb lightning exit successfully日志显示成功,所有日志都没有报错,但是数据量相差很多,是什么原因
image

配置文件贴出来看下

怎么个相差很多,从源集群导入到目标集群,是目标多了还是少了。源上有没有其它服务在写入或者删除

目标少了,3亿多数据 到300W就成功 自动停了,日志就打印成功

你再导入一个其它的表试试,什么版本啊,我这边迁移用的dumpling+light,没遇到过类似的问题

我和你一样的 就是dumpling+light 其他表配置一样的,会不会是内存的原因

估计是 schema_pattern 写错了

1 个赞

什么版本呢,新版本是用 file-pattern

6.1.0

可以检查lightning 日志中是否有filter 了某些文件。或者看看是否有报错。

在进行数据导入时,可能由于筛选条件错误或配置问题,导致部分数据被过滤掉或未正确导入。请检查导入前后的筛选条件、配置文件等,确保所有需要的数据都被正确导入。