嗯 数据上传 这个搞 那么 我要是从kakfa 或者flume之类的采集数据怎么高效写入啊 jdbc 好像很慢的样子
目前通过 jdbc 写入主要是受限于 TiDB 集群性能以及硬件性能瓶颈,可以看下是否达到了瓶颈,如果没有可以拷考虑适当提高并发。
另外如果是 mydumper 备份文件的快速导入,可以看下 lightning
https://pingcap.com/docs-cn/dev/reference/tools/tidb-lightning/overview/
我这边用jdbc批量写入 怎么平均才200条每秒 每个连接都是这么点 是存在那个参数没调整么
- 是只有一个 tidb-server 吗
- 对于单个 tidb-server 虽然没有连接数的限制,但是有 token-limit 这个参数控制并发度,默认是 1000
- 单条 sql 插入时间是需要多久?
单条 SQL 插入耗时是多少?
写入慢的问题,可以参考一下这个帖子,看下对应的监控情况,找到慢的瓶颈
建议按照上面的帖子排查一下,如果有疑问的,可以新开一个帖子进行提问
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。