求助：6.0的tidb-lightning加了filter参数，导入csv文件会报table xxx schema not found

[LBX流鼻血 (Hacker N0e Er Xxz)]

【 TiDB 使用环境`】测试环境
【 TiDB 版本】 6.0.0
【遇到的问题】
6.0的tidb-lightning加了filter参数，导入csv文件会报table xxx schema not found

csv的命名格式为： lw.abc11.csv
这个lw库的abc11的表是确确实实存在的。参数配置文件里面也尝试加了
filter = [‘.’, ‘!mysql.', '!sys.’, ‘!INFORMATION_SCHEMA.', '!PERFORMANCE_SCHEMA.’, ‘!METRICS_SCHEMA.', '!INSPECTION_SCHEMA.’]
也试过
filter = [‘.’]
报错日志见附件。

若改为一个不存在的库表格式，例如把csv的命名格式改为：123456.csv
则会抛出这种

请问，需要添加什么参数来规避这个问题？
或者有没有CSV的导入案例可以参考谢谢~

参考过网上的一些案例，说lightning有有些bug，因为大小写的问题导致找不到，但是这个库表都是小写的，应该不存在那种问题。

log.txt (6.2 KB)

[db_user]

因为lighting没有配置，正常的lighting导入是需要先创建表，然后导入数据，csv没有表结构，则需要在配置文件里进行配置，不导表结构,把下面的no-schema改成true试下

[LBX流鼻血 (Hacker N0e Er Xxz)]

这个已经设置了true了，还是一样

[db_user]

把你的配置文件发下，感觉像配置错了，把那个整体识别成库名了

[db_user]

我先把你刚刚那个回复删除了，里面连接信息没有脱敏，有泄漏信息的危险，稍等我看下具体问题,csv文件名换成这种试下呢， lw.abc11.0000csv
另外先改变模式并清除断点
bin/tidb-lightning-ctl -config ./lighting.toml --switch-mode=normal
tidb-lightning-ctl -config ./lighting.toml --checkpoint-error-destroy=’schema.table’ # =all就是全部库表
然后试下几种方式
1.文件名这么写： lw.abc11.0000csv
2.导入模式换成tidb
然后看下分别能不能成功，有没有报错

[LBX流鼻血 (Hacker N0e Er Xxz)]

谢谢大佬，可以了！感谢

[db_user]

是用哪个方法解决的，方便说下么

[LBX流鼻血 (Hacker N0e Er Xxz)]

重新检查了一下，有几处问题点。
1、sorted-kv-dir用了/tmp，不是一个空目录
2、status-port用了默认的，但实际上并不是10080
3、使用这个后:
./tidb-lightning-ctl -config ./lig.toml --switch-mode=tidb
./tidb-lightning-ctl -config ./lig.toml --checkpoint-error-destroy=all
sorted-kv-dir文件夹就被删了，需要重建
4、格式还需要写成： lw.abc11.csv
如果写成 lw.abc11.0000csv不会报错，但是没有数据进

尝试导入100条数据后正常，但导入2KW数据后不知道是不是数据量太大了，会有以下报错：

Error: [Lighting:Restore:ErrChecksumMismatch]checksum mismatched remote vs local => (checksum: 5256295974970666385 vs 1899943970223764847) (total_kvs: 19299273 vs 19299361) (total_bytes:10212907323 vs 10212932102)
tidb lightning encountered error: [Lighting:Restore:ErrChecksumMismatch]checksum mismatched remote vs local => (checksum: 5256295974970666385 vs 1899943970223764847) (total_kvs: 19299273 vs 19299361) (total_bytes:10212907323 vs 10212932102)

另外请问一下，如果使用多线程同时导入呢？

[db_user]

第一个报错可能的原因是你之前导入数据后没有清空表，再次导入数据之后就会出现表的数据和本地数据不一致的check报错，你可以清空表，清空断点后，重新导入一遍大文件

并行导入可以看下这块
https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-distributed-import#tidb-lightning-并行导入

[LBX流鼻血 (Hacker N0e Er Xxz)]

感谢支持