从Oracle 经过10分钟 sql 查询后 用 Datax 写入TIDB,Datax 任务直接挂掉

【 TiDB 使用环境】生产环境
【 TiDB 版本】6.5.0
【复现路径】做过哪些操作出现的问题
connect_timeout = 1800s
delayed_insert_timeout = 1800s
【遇到的问题:问题现象及影响】
无法使用Datax 长(10分钟)查询后写入TIDB,较短查询(5分钟以下)可以写入
【资源配置】2g -4g
【附件:截图/日志/监控】

用cloudcanal 升级版

set @@global.tidb_gc_life_time = “8h” 试试

蒋哥,你们那边生产环境同步使用的是cloudcanal 吗?

我考虑是不是一次算一个事物,gc 默认10分钟,所以建议设置长了gc时间

看这个报错,感觉和jdbc连接配置有关,换Addax试试呢?

请问addax 是什么?这个是我的jdbc参数

“jdbcUrl”: “jdbc:mysql://xxxxxxxxx:4000/ads_global?useUnicode=true&characterEncoding=utf-8&useSSL=false&autoReconnect=true&useServerPrepStmts=true&cachePrepStmts=true&prepStmtCacheSize=1000&prepStmtCacheSqlLimit=2048000&useConfigs=maxPerformance&rewriteBatchedStatements=true&allowMultiQueries=true&useCursorFetch=true”

求个地址,知道canal,云canal是哪家的?,我这边这个Datax是个离线同步工具

cloudcanal,这个 产品介绍 | CloudCanal of ClouGence

这个调整后tidb数据库未重启,并且任务执行10分钟左右后依旧报错了

付费的啊,那不考虑了。我以为tidb本身的组件 :cry:

有免费版的啊,只不过有限制的,可以先上手试试呗。
tidb自身组件也有,dm,cdc都是数据同步工具