用自带的importer工具导入数据到tikv集群后,查不到数据

https://github.com/paynie/kvproto/blob/master/proto/import_sstpb.proto
有人推荐用sst的client,不知道你是否了解,我看这个proto和importer有相像的地方,但是我有几个问题请教下:

  1. 这个sst client的话,创建的grpc channel是连接pd,还是连接tikv节点?
  2. 这个写入的流程是什么?SwitchMode —> Write或者RawWrite —> MultiIngestRequest 或者ingest 这样的流程对吗?
  3. RawWrite或者Write的时候是否需要对kv排序?

image

sst ,官方只有一个工具,就是 lightning https://docs.pingcap.com/zh/tidb/stable/tidb-lightning-overview

这个C++是基于rust插件翻译的,性能没有那么好;

我可以自己实现sst的client,只是他的使用方法和调用流程,你熟悉吗?

这个就帮不到你了,可以参考下 lightning 的实现

好吧,多谢。。。

来个最佳实践吧

啥意思。。。。

你这类问题得找他们内部开发帮忙看,找表妹问问

给个demo,模拟一下呢

搭建一个tikv集群,version V6.1.0
importer工具 4.0.2
importer client用C++实现;写入流程如下:
https://asktug.com/uploads/default/original/4X/a/7/f/a7f1466026ec7f287e73802002880a17ae0507f9.png

建议, 这问题转到 TiDB Internals 或者 github tikv repo 交流吧🤔

1 个赞

建议看看系统表

啥意思

在github的importer工具上有问过,但是也没有解答

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。