region_not_found 怎么处理

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】v7.5.0
【复现路径】持续报错中
【遇到的问题：问题现象及影响】 暂未发现影响，但日志中一直有错误。
【资源配置】
TICDC一直报警：ticdc_changefeed_meet_error，查看cdc日志：

2024/05/23 19:02:21.997 +08:00] [INFO] [shared_stream.go:481] [“event feed receives a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=571] [regionID=64577] [stateIsNil=false] [error="region_not_found:<region_id:64577 > "]
[2024/05/23 19:02:21.997 +08:00] [INFO] [shared_region_worker.go:108] [“region worker get a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=64577] [regionID=64577] [reschedule=true] [error="region_not_found:<region_id:64577 > "]
[2024/05/23 19:11:15.430 +08:00] [INFO] [middleware.go:49] [/api/v2/changefeeds] [status=200] [method=GET] [path=/api/v2/changefeeds] [query=“namespace=default&state=all”] [ip=192.168.217.184] [user-agent=Go-http-client/1.1] [client-version=v7.5.0] [duration=82.221133ms]
[2024/05/23 19:32:48.760 +08:00] [WARN] [pd.go:152] [“get timestamp too slow”] [“cost time”=288.811611ms]
[2024/05/23 20:02:39.103 +08:00] [INFO] [shared_stream.go:481] [“event feed receives a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=571] [regionID=64549] [stateIsNil=false] [error="epoch_not_match:<current_regions:<id:64581 start_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377sr\201\000\000\000\000\000\372" end_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\305X\000\000\000\000\000\372" region_epoch:<conf_ver:5 version:1547 > peers:<id:64582 store_id:1 > peers:<id:64583 store_id:2 > peers:<id:64584 store_id:3 > > current_regions:<id:64549 start_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\305X\000\000\000\000\000\372" end_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\362\336\000\000\000\000\000\372" region_epoch:<conf_ver:5 version:1547 > peers:<id:64550 store_id:1 > peers:<id:64551 store_id:2 > peers:<id:64552 store_id:3 > > > "]
[2024/05/23 20:02:39.103 +08:00] [INFO] [shared_region_worker.go:108] [“region worker get a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=64549] [regionID=64549] [reschedule=true] [error="epoch_not_match:<current_regions:<id:64581 start_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377sr\201\000\000\000\000\000\372" end_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\305X\000\000\000\000\000\372" region_epoch:<conf_ver:5 version:1547 > peers:<id:64582 store_id:1 > peers:<id:64583 store_id:2 > peers:<id:64584 store_id:3 > > current_regions:<id:64549 start_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\305X\000\000\000\000\000\372" end_key:"t\200\000\000\000\000\000\002\377\033_r\200\000\000\000\001\377s\362\336\000\000\000\000\000\372" region_epoch:<conf_ver:5 version:1547 > peers:<id:64550 store_id:1 > peers:<id:64551 store_id:2 > peers:<id:64552 store_id:3 > > > "]
[2024/05/23 20:02:39.104 +08:00] [INFO] [shared_stream.go:481] [“event feed receives a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=571] [regionID=64581] [stateIsNil=false] [error="region_not_found:<region_id:64581 > "]
[2024/05/23 20:02:39.105 +08:00] [INFO] [shared_region_worker.go:108] [“region worker get a region error”] [namespace=default] [changefeed=centre-mds] [streamID=218] [subscriptionID=64581] [regionID=64581] [reschedule=true] [error="region_not_found:<region_id:64581 > "

2

请教下该如何处理。

3

没有延迟就不用处理，正常是有一些这种日志的，都是 INFO 级别，不用处理

4

get timestamp too slow。。。
grafana上检查下tidb和pd

5

之前没有这个ticdc_changefeed_meet_error报警，现在一直在报。

8

应该是region worker get a region error错误，但是不知道怎么处理呀

9

请参考FAQ

10
  • region_not_found 错误：这通常意味着请求的 Region 在集群中不存在。这可能是因为 Region 被合并或者分裂，或者是请求错误。您可以检查 PD 的日志和监控，以确认是否有 Region 的合并或分裂事件。同时，确保 TiCDC 的配置是正确的，并且它能够正确连接到 TiKV 节点。
  • epoch_not_match 错误：这表示请求的 Region Epoch 与集群中的实际 Epoch 不匹配。这通常发生在 Region 发生变化时，例如 Leader 变更或者 Region 分裂。您可以检查 PD 的日志，查看是否有相关的 Region 变化事件。
  • 网络问题：如果这些错误是由于网络问题导致的，您需要检查网络配置，确保 TiCDC 能够与 PD 和 TiKV 节点正常通信。
1 个赞
11

image
image1497×890 85.4 KB

好像是个bug，但是没看懂解决方案是什么.
huge logs for “event feed receives a region error” and “region worker get a region error” during initial scan · Issue #10177 · pingcap/tiflow · GitHub

12

全是info可以忽略

13

我倒是想忽略 ，但是报警项一直在报。
貌似是个bug，帮看看解决方案是什么，没太看懂

14

处理不了，我这里也是好多

15

info直接忽略吧

16

info信息，资源不太够，忙不过来了？需要加资源？

17

监控上面检查看看组件情况

18

这个FAQ可以解决么？

19

info级别忽略吧，可能是是动态的region中出现的