tikc-ctl 扫描数据的时候警告

命令如下: ./tikv-ctl --data-dir ./import/tikv1 scan --from “z”
用tikv-ctl扫描sst文件的时候,会有这样的警告:
[config.rs:712] [“compaction guard is disabled due to region info provider not available”]
然后数据扫描不出来

tikv节点状态都正常吗

感觉是 tikv 的配置不当导致的问题,建议补充集群相关的配置,不限于硬件,软件版本,详细配置等等

tikv节点状态正常的

tikv使用的默认的配置:
nohup ./pd-server -name=pd1 -data-dir=./import/pd1 -client-urls=“http://127.0.0.1:12379” -peer-urls=“http://127.0.0.1:12380” -log-file=./import/pd1.log &
echo “start pd done”
sleep 2
nohup ./tikv-server --pd-endpoints=“127.0.0.1:12379” --addr=“127.0.0.1:20161” --data-dir=./import/tikv1 --log-file=./import/tikv1.log &
nohup ./tikv-server --pd-endpoints=“127.0.0.1:12379” --addr=“127.0.0.1:20162” --data-dir=./import/tikv2 --log-file=./import/tikv2.log &
nohup ./tikv-server --pd-endpoints=“127.0.0.1:12379” --addr=“127.0.0.1:20163” --data-dir=./import/tikv3 --log-file=./import/tikv3.log &
TiKV | Test Deployment

检查一下节点状态是否都正常

从进程上看,所有的节点,pd-server和tikv-server都是正常的

ok,标准的手动挡操作,直接进入 hard 模式… :melting_face: :melting_face: :melting_face:

推荐你用 PD cli ,通过命令行来扫描下region 的信息,是否和你的操作的一致?
https://docs.pingcap.com/zh/tidb/stable/pd-control#region-scan

如果PD 的region 信息不符合,代表操作上有点问题,可能需要 clean all region,重来一遍
如果PD 的region 是符合的,可以通过这个命令行扫描下 keys,是否能够达成你的预期… 没达成,就需要考虑,数据清理掉,重拉一遍(多参考下 官方tikv 模式的 demo)

ok,我试下

写数据后,通过pd-ctl查询是没有问题的,然后通过tikv-ctl的scan还是有以下的警告:
[root@VM-210-105-tikv]# ./tikv-ctl --data-dir ./import/tikv1 scan --from “z”
[2023/10/07 14:27:37.047 +08:00] [WARN] [config.rs:604] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:37.047 +08:00] [WARN] [config.rs:712] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:37.115 +08:00] [WARN] [pipe_builder.rs:273] [“The last log file is corrupted but ignored: Append:1, Corruption: Log item offset is smaller than log batch header length”]
please pass “to” or “limit”
[root@VM-210-105-tikv]# ./tikv-ctl --data-dir ./import/tikv2 scan --from “z”
[2023/10/07 14:27:52.521 +08:00] [WARN] [config.rs:604] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:52.521 +08:00] [WARN] [config.rs:712] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:52.577 +08:00] [WARN] [pipe_builder.rs:273] [“The last log file is corrupted but ignored: Append:1, Corruption: Log item offset is smaller than log batch header length”]
please pass “to” or “limit”
[root@VM-210-105-tikv]# ./tikv-ctl --data-dir ./import/tikv3 scan --from “z”
[2023/10/07 14:27:56.767 +08:00] [WARN] [config.rs:604] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:56.767 +08:00] [WARN] [config.rs:712] [“compaction guard is disabled due to region info provider not available”]
[2023/10/07 14:27:56.828 +08:00] [WARN] [pipe_builder.rs:273] [“The last log file is corrupted but ignored: Append:1, Corruption: Log item offset is smaller than log batch header length”]
please pass “to” or “limit”
并且没有数据扫描出来,然后重新split后,通过scan还是不能找到写入的数据


这是scan tikv下sst文件的结果

PD 能识别 Region,也能识别 Key,才能保证 tikv 可以识别

可能用法不太对吧,最好参考官方文档来操作和处理为好…

有微信群,或者方便加下微信吗,这样解决问题的效率太慢了

你微信加下 billmay @Billmay表妹 ,她来给你安排好了

有社区群,不过社区求助是基于社区小伙伴们互相帮忙的,如果你许愿保证解决问题的效率,可能需要商业支持~

当使用 tikv-ctl 扫描 SST 文件时,出现警告 [config.rs:712] ["compaction guard is disabled due to region info provider not available"],这是因为 tikv-ctl 工具无法获取到正确的 Region 信息导致的。

要解决这个问题,可以尝试以下方法:

  1. 确保 TiKV 节点正常运行:检查 TiKV 节点是否正常启动并运行。可以使用 pd-ctl 命令来检查 TiKV 节点的状态,例如 pd-ctl -u <pd-address> store

  2. 检查 PD 地址是否正确:确保在执行 tikv-ctl 命令时,使用的 PD 地址是正确的。可以通过 pd-ctl 命令或者 TiDB Dashboard 界面来获取正确的 PD 地址。

  3. 检查 TiKV 配置文件:检查 TiKV 的配置文件 tikv.toml,确保其中的 PD 地址配置正确。可以通过修改配置文件并重启 TiKV 进程来生效。

  4. 使用最新版本的 tikv-ctl 工具:确保您使用的是最新版本的 tikv-ctl 工具,可以尝试更新 TiKV 版本或者重新编译 tikv-ctl 工具。

如果以上方法仍然无法解决问题,建议您参考 TiDB 官方文档

已经解决了,原来是数据写入到了writecf里面,我用的raw kv模式,所以差不到,多谢大家!!!

已经加上了,多谢。问题已经解决了,原来是数据写入到了writecf里面,我用的raw kv模式,所以差不到,多谢大家!!!

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。