tidb单表数据量大,使用flink jdbc抽取导致flink节点陆续挂掉

【 TiDB 使用环境】生产环境
【 TiDB 版本】 v7.1.3
【遇到的问题:
使用flink jdbc 模式抽取tidb中的某张表数据,会导致flink standalone 节点接连挂掉,是什么原因,整表70个字段,数据量有2000万,sql中加了where 条件,只抽取一天数据,大概4万条,flink空闲有100G内存,求大佬解答

是不是得看 flink 的日志

执行计划有走索引吗

问题描述可以更具体一些,比如Flink日志、抽取SQL和抽取SQL的执行计划等等,越具体大佬们才能更快解决你问题

尽管 Flink 空闲有 100G 内存,但抽取操作可能触发了大量的内存使用,比如大结果集的缓存或者序列化/反序列化操作。检查 Flink 任务运行时的内存使用情况,是否出现了OOM, 还可以通过 Flink 的 Web UI 查看每个TaskManager 的资源使用情况。或者会不会大量数据的抽取可能会导致网络带宽饱和,进而影响 Flink 节点的稳定性。或者 taskmanager.memory.process.sizetaskmanager.memory.flink.size 等参数设置的不合适。

1 个赞

你要看下flink的日志信息,看下报错提示,然后在分析具体原因。个人猜测,可能是flink配置文件中的相关task管理器的内存设置太小了,调大点试试

上错误日志… 分享关键错误…