TICDC 每天晚上2点就停止了任务

🪐 TiDB 技术问题 备份&数据迁移
1

【 TiDB 使用环境`】生产
【 TiDB 版本】V5.3.1
【遇到的问题】
TICDC 每天晚上2点就停止了任务，但是状态还是normal,但是tso不动了，一直停留在2点
【附件】

  • 报错日志
    [2022/07/06 02:00:00.824 +08:00] [INFO] [region_worker.go:243] [“single region event feed disconnected”] [changefeed=lt-replication-task] [regionID=25669] [requestID=165802] [span="[7480000000000006ff615f720000000000fa, 7480000000000006ff615f730000000000fa)"] [checkpoint=434384142370603012] [error="[CDC:ErrEventFeedEventError]epoch_not_match:<current_regions:<id:25963 start_key:“t\200\000\000\000\000\000\005\377~\000\000\000\000\000\000\000\370” end_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25964 store_id:4 > peers:<id:25965 store_id:5 > peers:<id:25966 store_id:7 > > current_regions:<id:25669 start_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25670 store_id:4 > peers:<id:25848 store_id:5 > peers:<id:25866 store_id:7 > > > : epoch_not_match:<current_regions:<id:25963 start_key:“t\200\000\000\000\000\000\005\377~\000\000\000\000\000\000\000\370” end_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25964 store_id:4 > peers:<id:25965 store_id:5 > peers:<id:25966 store_id:7 > > current_regions:<id:25669 start_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25670 store_id:4 > peers:<id:25848 store_id:5 > peers:<id:25866 store_id:7 > > > “]
    [2022/07/06 02:00:00.824 +08:00] [INFO] [region_worker.go:243] [“single region event feed disconnected”] [changefeed=lt-replication-task] [regionID=25669] [requestID=165804] [span=”[7480000000000006ff745f720000000000fa, 7480000000000006ff745f730000000000fa)"] [checkpoint=434384142370603012] [error="[CDC:ErrEventFeedEventError]epoch_not_match:<current_regions:<id:25963 start_key:“t\200\000\000\000\000\000\005\377~\000\000\000\000\000\000\000\370” end_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25964 store_id:4 > peers:<id:25965 store_id:5 > peers:<id:25966 store_id:7 > > current_regions:<id:25669 start_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25670 store_id:4 > peers:<id:25848 store_id:5 > peers:<id:25866 store_id:7 > > > : epoch_not_match:<current_regions:<id:25963 start_key:“t\200\000\000\000\000\000\005\377~\000\000\000\000\000\000\000\370” end_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25964 store_id:4 > peers:<id:25965 store_id:5 > peers:<id:25966 store_id:7 > > current_regions:<id:25669 start_key:“t\200\000\000\000\000\000\006\377\233\000\000\000\000\000\000\000\370” region_epoch:<conf_ver:2279 version:844 > peers:<id:25670 store_id:4 > peers:<id:25848 store_id:5 > peers:<id:25866 store_id:7 > > > "]
2

下游的数据有没有同步过去？上游环境是不是有什么定时任务？

3

一般遇到这种情况，需要排查下该时间点由没有大的IO读写，怕有其他抽数线程

1 个赞
4

源端数据库运行正常吗？有没有锁，等待 这些异常事件？

5

感觉有什么定时任务，把某些节点的负载打高了

6

我遇到过类似的问题，那次是由于有一个大的删除，同步了很长很长时间。

7

有没有长事务 导致死锁了啊 ,

8

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。