lighting报错 RocksDB(\"IO error: While open a file for appending

🪐 TiDB 技术问题 备份&数据迁移
1

image
image1144×294 19.1 KB

image
需要导入的单张表是700G

2
  1. 请问lighting版本和 tidb 版本是什么？
  2. 是否方便上传从导入开始到报错的日志？ 多谢。
3

/tidb-ansible4.0.0 light用的/tidb-ansible/resources/bin路径下的
TIDB_log_20200714.txt (79.5 KB)

使用mydumper导出的数据，每个文件是64M，总共有12000个sql数据文件

4

https://github.com/facebook/rocksdb/issues/4089 看到rocksdb有一个类似issue，可以参考下，修改

It was resolved by editing /etc/systemd/system.conf file with the line DefaultLimitNOFILE=15000