tidb-lightning恢复时表名大写报错

  • 【TiDB 版本】:tidb:v4.0.0-rc.1 tidb-lightning:v4.0.0-rc.1
  • 【问题描述】:tidb库里的表表名有大写和小写,根据建表习惯有些喜欢大写有些喜欢小写,tidb大小写不敏感,表名大小写取决于建表时大小写;
    binglog同步的备份端是mysql数据库,且大小写敏感(为了保持和tidb表名大小写一致);
    mydumper导出mysql恢复到tidb库,备份文件里存在大写和小写的表名文件;

此时使用lightning的 TiDB-backend恢复模式,就会报错,存在大写表名文件找不到;
如果使用lightning的 importer-backend恢复模式,tidb里恢复的表所有的表名都会变成小写;

如果需要保持tidb里表名大小写不变且能支持备份恢复,有无办法

感觉在你之前的问题里继续说明就可以了,好的,我们找一下方法,会尽快答复,多谢。

  1. lightning 有个小 bug,会导致导入的表全部被转成小写,我们会尽快在下个版本修复此问题。

  2. 能否尝试先把下游库改名成小写,导入完成后再alter回大写

是否是lightning只支持小写的 ,如果这样的话 整库增量恢复的时候是个不小的工作量,部分基础信息表差不多都是600+以上的表数量,相应的还需要修改下游支持大小写不敏感

等这个版本修复下,到时使用新版本就可以了. 就这两天就会发布新版本

请问 TiDB 4.0 RC.2 这个版本包含了这个修复了么 我看了下 【导入数据时将 SQL Mode 由默认改成 ONLY_FULL_GROUP_BY,NO_AUTO_CREATE_USER ,提高兼容性 #316】 这个是这个问题的修复么?

这个问题对应的 PR 是这两个

https://github.com/pingcap/tidb-tools/pull/342

https://github.com/pingcap/tidb-lightning/pull/319

已经在 rc2 版本修复

我升级了最新tidb版本和tidb-lightning到4.0.0-rc.2版本

1,测试 TiDB-backend恢复方式,表大小写增量恢复成功
2. 测试 Importer-backend恢复方式,在启动 TiKV Importer时报错,导致后续全量恢复受阻

错误信息:
[2020/06/03 16:03:33.404 +08:00] [FATAL] [setup.rs:118] [“failed to start memory monitor: Error: descriptor Desc { fq_na
me: "process_virtual_memory_bytes", help: "Virtual memory size in bytes.", const_label_pairs: [], variable_labels: [
], id: 1166094170200363441, dim_hash: 18077976125237009095 } already exists with the same fully-qualified name and const
label values”]

配置文件:tikv-importer.toml (2 KB)

启动命令:nohup ./bin/tikv-importer -C ./config/tikv-importer.toml > tikv-importer.out &

  1. 请问是第一次导入吗?之前是否已经导入过,请清空。 already exists with the same fully-qualified name and const label values

  2. 是否有多个 importer 配置为相同名称?

1.第一次导入,确认了需要导入的库是空的且未创建;而且我是在importer启动的时候报错 不是在导入的时候报错 2.我用ps 检查了importer没有进程,

我看了一个相同 tikv-importer 启动报错 failed to start memory monitor: Error: descriptor Desc 貌似是这个版本的bug

是的,4.0 已经 ga,希望可以从 rc 版本跳出来,升级到 ga 进行使用,当前也是优化了很多功能。

可以直接从v4.0.0-rc.2升级到v4.0.0么

低版本都是可以升级到高版本的。
https://pingcap.com/docs-cn/stable/upgrade-tidb-using-tiup/

升级到v4.0.0版本后增量和全量恢复都正常

:ok_hand:,符合预期

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。