lightning导入报warning

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
lightning配置如下:

[lightning]

[tikv-importer]
[#] backend 设置为 local 模式
backend = “local”
duplicate-resolution = ‘record’

【遇到的问题:问题现象及影响】
[2022/11/20 03:23:37.850 +08:00] [WARN] [local.go:1445] [“[resolve-dupe] skipping resolution due to selected algorithm. this table will become inconsistent!”] [table=xxx.xxx_car_info] [algorithm=record]

【资源配置】
【附件:截图/日志/监控】

有重复数据?

有重复的数据。你设置的参数是 duplicate-resolution = ‘record’。会记录日志,并且会写个WARN日志。

Physical Import Mode 设置是否检测和解决重复的记录(唯一键冲突)。
目前支持三种解决方法:

  • record: 仅将重复记录添加到目的 TiDB 中的 lightning_task_info.conflict_error_v1 表中。注意,该方法要求目的 TiKV 的版本为 v5.2.0 或更新版本。如果版本过低,则会启用下面的 ‘none’ 模式。
  • none: 不检测重复记录。该模式是三种模式中性能最佳的,但是可能会导致目的 TiDB 中出现数据不一致的情况。
  • remove: 记录所有的重复记录,和 ‘record’ 模式相似。但是会删除所有的重复记录,以确保目的 TiDB 中的数据状态保持一致。
    duplicate-resolution = ‘none’

https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-configuration#task-info-schema-name--lightning_task_info

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。