请问下tikv-importer的一些问题:
- tikv-importer的配置文件的详细参数;
- 如果用C++实现tikv-importer的客户端,用哪个kvproto文件;
- tikv-importer模块的输入输出是什么?输入是客户端写进来的key-value,输出是sst文件??还是其他的;
以上只是针对tikv-importer,不是tidb的Lightning工具
请问下tikv-importer的一些问题:
以上只是针对tikv-importer,不是tidb的Lightning工具
tikv-importer 的配置文件包含以下参数:
[tikv-importer]
# 后端模式,可选 local 或 importer
backend = "local"
# 本地存储路径,仅在 backend 为 local 时有效
sorted-kv-dir = "/path/to/sorted-kv-dir"
# tikv-importer 的监听地址
listen-addr = "127.0.0.1:8287"
# tikv-importer 的状态检查地址
status-addr = "127.0.0.1:8288"
# tikv-importer 的日志级别,可选 debug、info、warn、error、fatal
log-level = "info"
# tikv-importer 的日志文件路径
log-file = "/path/to/tikv-importer.log"
# tikv-importer 的最大并发数
concurrency = 16
# tikv-importer 的最大内存使用量,单位为字节
memory-quota = 1073741824
# tikv-importer 的最大写入速率,单位为字节/秒
rate-limit = 0
# tikv-importer 的最大写入速率的 burst 大小,单位为字节
rate-limit-burst = 0
# tikv-importer 的最大写入批次大小
batch-size = 1024
# tikv-importer 的最大写入批次等待时间,单位为毫秒
batch-wait-time = 100
# tikv-importer 的最大写入批次等待队列大小
batch-wait-size = 1024
# tikv-importer 的最大写入批次等待队列满时的处理方式,可选 drop 或 block
batch-wait-strategy = "drop"
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间,单位为毫秒
batch-wait-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待次数
batch-wait-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数
batch-wait-timeout-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数的最大值
batch-wait-timeout-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数的最小值
batch-wait-timeout-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率
batch-wait-backoff-multiplier = 2
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大值
batch-wait-backoff-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最小值
batch-wait-backoff-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大次数
batch-wait-backoff-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间,单位为毫秒
batch-wait-backoff-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数
batch-wait-backoff-timeout-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最小值
batch-wait-backoff-timeout-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大次数的最大值
batch-wait-backoff-timeout-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-max-time-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-multiplier = 1
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-min-multiplier = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-count = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-time = 0
# tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time
下面两个直接去github上提问比较合适,研发一般都是看那个
kvproto
中的import_sstpb.proto
,研发WX说的好的,多谢!
我测试了下import_kvpb.proto是可以和tikv-importer进行交互的,我理解import_sstpb.proto文件的客户端是tidb Lightning的local模式使用的直接和tikv进行交互的client