flink实时数据,如何高效写入Tidb?

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.7
  • 【问题描述】:
    我目前是用flink流式处理,每条数据通过jdbc写入TiDB一次,但是非常容易就将TiDB写宕机了,而且写入速度不够。请问有没有什么办法,能高速的把实时数据写入TiDB?我们会涉及到数据的update,replace,insert,delete。
    用批处理可以吗?批处理的间隔是多少?

先排查下宕机原因吧,虽然 4.0 版本支持大事务,作为最佳实践,尽量控制单个事务的大小和单行大小,控制每批写入的大小,在资源没到瓶颈的前提下适当提高并发,避免单个 tikv 成为热点,可以参考最佳实践相关文档
https://pingcap.com/blog-cn/best-practice-java/
https://pingcap.com/blog-cn/tidb-in-high-concurrency-scenarios/

@Q2294365315 能提供下 TiDB 集群的 grafana metric 么(包括 tidb、tikv-details、pd 的)?可以参考 [FAQ] Grafana Metrics 页面的导出和导入 进行操作

hi,这个页面的问题和【https://asktug.com/t/topic/37697】 似乎是同一个问题?在设置了批处理之后,宕机的问题还有再出现吗

是的,这个问题解决了,目前没什么问题

谢谢回答, 这个问题现在解决了,通过批处理的方式来解决的。怎么样将实时数据高速写入TiDB?

:+1:

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。