【 TiDB 使用环境】生产环境
【 TiDB 版本】 v7.1.3
【遇到的问题:
使用flink jdbc 模式抽取tidb中的某张表数据,会导致flink standalone 节点接连挂掉,是什么原因,整表70个字段,数据量有2000万,sql中加了where 条件,只抽取一天数据,大概4万条,flink空闲有100G内存,求大佬解答
是不是得看 flink 的日志
执行计划有走索引吗
问题描述可以更具体一些,比如Flink日志、抽取SQL和抽取SQL的执行计划等等,越具体大佬们才能更快解决你问题
尽管 Flink 空闲有 100G 内存,但抽取操作可能触发了大量的内存使用,比如大结果集的缓存或者序列化/反序列化操作。检查 Flink 任务运行时的内存使用情况,是否出现了OOM, 还可以通过 Flink 的 Web UI 查看每个TaskManager 的资源使用情况。或者会不会大量数据的抽取可能会导致网络带宽饱和,进而影响 Flink 节点的稳定性。或者 taskmanager.memory.process.size
、taskmanager.memory.flink.size
等参数设置的不合适。
1 个赞
你要看下flink的日志信息,看下报错提示,然后在分析具体原因。个人猜测,可能是flink配置文件中的相关task管理器的内存设置太小了,调大点试试
上错误日志… 分享关键错误…