请问tikv-importer的问题

请问下tikv-importer的一些问题:

  1. tikv-importer的配置文件的详细参数;
  2. 如果用C++实现tikv-importer的客户端,用哪个kvproto文件;
  3. tikv-importer模块的输入输出是什么?输入是客户端写进来的key-value,输出是sst文件??还是其他的;

以上只是针对tikv-importer,不是tidb的Lightning工具

  1. tikv-importer 的配置文件包含以下参数:

    [tikv-importer]
    # 后端模式,可选 local 或 importer
    backend = "local"
    # 本地存储路径,仅在 backend 为 local 时有效
    sorted-kv-dir = "/path/to/sorted-kv-dir"
    # tikv-importer 的监听地址
    listen-addr = "127.0.0.1:8287"
    # tikv-importer 的状态检查地址
    status-addr = "127.0.0.1:8288"
    # tikv-importer 的日志级别,可选 debug、info、warn、error、fatal
    log-level = "info"
    # tikv-importer 的日志文件路径
    log-file = "/path/to/tikv-importer.log"
    # tikv-importer 的最大并发数
    concurrency = 16
    # tikv-importer 的最大内存使用量,单位为字节
    memory-quota = 1073741824
    # tikv-importer 的最大写入速率,单位为字节/秒
    rate-limit = 0
    # tikv-importer 的最大写入速率的 burst 大小,单位为字节
    rate-limit-burst = 0
    # tikv-importer 的最大写入批次大小
    batch-size = 1024
    # tikv-importer 的最大写入批次等待时间,单位为毫秒
    batch-wait-time = 100
    # tikv-importer 的最大写入批次等待队列大小
    batch-wait-size = 1024
    # tikv-importer 的最大写入批次等待队列满时的处理方式,可选 drop 或 block
    batch-wait-strategy = "drop"
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间,单位为毫秒
    batch-wait-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待次数
    batch-wait-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数
    batch-wait-timeout-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数的最大值
    batch-wait-timeout-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的最大等待时间的倍数的最小值
    batch-wait-timeout-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率
    batch-wait-backoff-multiplier = 2
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大值
    batch-wait-backoff-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最小值
    batch-wait-backoff-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大次数
    batch-wait-backoff-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间,单位为毫秒
    batch-wait-backoff-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数
    batch-wait-backoff-timeout-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最小值
    batch-wait-backoff-timeout-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大次数的最大值
    batch-wait-backoff-timeout-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-max-time-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-multiplier = 1
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最小值
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-min-multiplier = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大次数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-count = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间,单位为毫秒
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time-max-time = 0
    # tikv-importer 的最大写入批次等待队列满时的处理方式为 block 时的等待时间的增长率的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数的最大时间的倍数
    batch-wait-backoff-timeout-max-time-max-time-max-time-max-time-max-time-max-time

下面两个直接去github上提问比较合适,研发一般都是看那个

  1. kvproto 中的import_sstpb.proto ,研发WX说的

好的,多谢!

我测试了下import_kvpb.proto是可以和tikv-importer进行交互的,我理解import_sstpb.proto文件的客户端是tidb Lightning的local模式使用的直接和tikv进行交互的client