ticdc 性能问题

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】v6.5.0
【复现路径】
使用ticdc进行不同集群之间数据增量同步
【遇到的问题：问题现象及影响】
两个集群之间同步数据较慢，checkpoint lag最大时候打到1个小时
看了下监控，puller的tps在20w/s，但是到sorter阶段，tps立马就降到2w，请问下这种情况是什么情况导致的

2

cdc的磁盘性能怎么样？不会是机械盘吧

3

是机械盘

4

如果服务器使用机械硬盘或其他有延迟或吞吐有瓶颈的存储设备，Unified Sorter 性能会受到较大影响。

image
image1167×683 45.3 KB

5

那可以换一种sorter吗

6

你这数据量看起来还是挺大的，可以试试增加cdc节点、拆分任务，吧压力分散到不同服务器上

7
  1. 我用的版本是6.5.0 为啥默认的sorter还是unified
  2. 怎么拆分任务 有什么参数能指定吗
8

试试增加一下这个值？

[sorter]
Sorter 模块给默认启动的 8 个 pebble DB 共享的 pebble block cache 的大小，单位为 MiB，默认值为 128。
cache-size-in-mb = 128

9

你同步肯定不止一个表，把同步任务按表拆分就好了

10

我现在就是一个表

11

关键第二个问题 为啥我6.5.0的版本 还是用uni sorter

12

同步的这个表有分区嘛

13

觉得这篇文章写的还不错，可以看看
专栏 - 10倍提升-TiCDC性能调优实践 | TiDB 社区

14

这个我看过 我的场景只有一个表 而且也不是单行超过1k的表

15

推荐升级到 6.5 最新版本，比如 659 试试。