【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
lightning配置如下:
[lightning]
…
[tikv-importer]
[#] backend 设置为 local 模式
backend = “local”
duplicate-resolution = ‘record’
【遇到的问题:问题现象及影响】
[2022/11/20 03:23:37.850 +08:00] [WARN] [local.go:1445] [“[resolve-dupe] skipping resolution due to selected algorithm. this table will become inconsistent!”] [table=xxx
.xxx_car_info
] [algorithm=record]
【资源配置】
【附件:截图/日志/监控】
buddyyuan
(Buddyyuan)
2022 年11 月 20 日 08:13
3
有重复的数据。你设置的参数是 duplicate-resolution = ‘record’。会记录日志,并且会写个WARN日志。
Physical Import Mode 设置是否检测和解决重复的记录(唯一键冲突)。
目前支持三种解决方法:
record: 仅将重复记录添加到目的 TiDB 中的 lightning_task_info.conflict_error_v1
表中。注意,该方法要求目的 TiKV 的版本为 v5.2.0 或更新版本。如果版本过低,则会启用下面的 ‘none’ 模式。
none: 不检测重复记录。该模式是三种模式中性能最佳的,但是可能会导致目的 TiDB 中出现数据不一致的情况。
remove: 记录所有的重复记录,和 ‘record’ 模式相似。但是会删除所有的重复记录,以确保目的 TiDB 中的数据状态保持一致。
duplicate-resolution = ‘none’
https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-configuration#task-info-schema-name--lightning_task_info
system
(system)
关闭
2023 年1 月 19 日 08:14
4
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。