tidb-lightning 数据同步若干问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v3.0.8
  • 【问题描述】:

在使用tidb-lightning 将csv数据导入时遇到的若干问题:

1、【# 各个压缩层级使用的算法。

第 0 层的算法用于压缩 KV 数据。

第 6 层的算法用于压缩 SST 文件。

第 1 至 5 层的算法目前尚未使用。

compression-per-level = [“lz4”, “no”, “no”, “no”, “no”, “no”, “lz4”]

[rocksdb.writecf]

同上

compression-per-level = [“lz4”, “no”, “no”, “no”, “no”, “no”, “lz4”]】 如上,这是官网的一段配置 ,

1)、请问 默认是用的什么压缩格式? 2)、 哪种的压缩比更高,高多少?

2、发现这个buff/cache 越来越大,可用的free 越来越少,used的会阶段性的下降,请问buff/cache 会自动清理吗,如下图。

自己的配置: 【***[rocksdb.defaultcf]*** # 数据在刷新到硬盘前能存于内存的容量上限。 write-buffer-size = "3GB" # 内存中写缓冲器的最大数量。 max-write-buffer-number = 5 compression-per-level = [“lz4”, “no”, “no”, “no”, “no”, “no”, “lz4”] [rocksdb.writecf] # 同上 compression-per-level = [“lz4”, “no”, “no”, “no”, “no”, “no”, “lz4”]

1、默认使用 lz4 压缩算法,这个压缩只是将数据压缩后,导入到 TiKV 中由 TiKV 的压缩算法来控制。具体关于压缩比的对比可以网上找下相关资料 2、buffer/cache 的清理主要是看 Linux 的内存控制机制,buff/cache 部分的内存在有需要的时候是可以被释放出来的,关注一下 used 部分即可。

1赞