tidb_lightning导入数过程中,服务器宕机重启后,tikv节点无法恢复正常工作 region信息丢失

嗯 数据上传 这个搞 那么 我要是从kakfa 或者flume之类的采集数据怎么高效写入啊 jdbc 好像很慢的样子

目前通过 jdbc 写入主要是受限于 TiDB 集群性能以及硬件性能瓶颈,可以看下是否达到了瓶颈,如果没有可以拷考虑适当提高并发。

另外如果是 mydumper 备份文件的快速导入,可以看下 lightning

https://pingcap.com/docs-cn/dev/reference/tools/tidb-lightning/overview/

我这边用jdbc批量写入 怎么平均才200条每秒 每个连接都是这么点 是存在那个参数没调整么

  1. 是只有一个 tidb-server 吗
  2. 对于单个 tidb-server 虽然没有连接数的限制,但是有 token-limit 这个参数控制并发度,默认是 1000
  3. 单条 sql 插入时间是需要多久?

布置了两个tidb_server 我使用的的时候连接选择了一个 使用了jdbc 批量插入 平均 200多 三个连接 六百多
tidb.toml (1.5 KB)

单条 SQL 插入耗时是多少?
写入慢的问题,可以参考一下这个帖子,看下对应的监控情况,找到慢的瓶颈

建议按照上面的帖子排查一下,如果有疑问的,可以新开一个帖子进行提问

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。