tidb使用binlog增量同步到mysql空间超级大

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.6
  • 【问题描述】:

同步tidb binlog到mysql5.7数据库之后mysql5.7数据量超级大。

tidb数据库数据大小:


mysql(mysql为阿里云rds)从库存储数据量大小:

监控显示tidb存储量:

请问下,
mysql 磁盘空间多少 df 看下
tidb dashboard 硬件面板的监控可否展示下,

mysql用的是阿里云RDS

image

tidb dashboard 的面板

从数据量来看,差别有四倍多,我现在是有三个replica

所有 tikv 占用 755.2GB ,同步到下游 rds 数据量在 1000GB 是嘛

因为 tidb 这边是三副本,有压缩,所以占用空间会比mysql 多,请问 rds 所显示的占用是否包含 binlog 的大小呢?

这个咨询了阿里云,她们回复确实是表空间,不包含binlog

还有个问题想确认下,tikv三个副本包含一个leader和两个Follower,那么是不是一份数据理论上有四份,包括一份元数据个三个副本呢还是元数据就是leader,一共是三份

一共是三份

你好,我也想实现tidb同步到阿里云RDS mysql5.7,v4.0.9,请问下如何在原有的集群上增加部署binglog功能呢?

https://docs.pingcap.com/zh/tidb/stable/deploy-tidb-binlog

你好,这个文档我阅读过好多次。我是在 在已有的 TiDB 集群上增加 Pump 组件。但原本不是用 ansible部署的集群。所以按这个文档目前是走不下去。

所以你用什么部署的集群?

你好,我是使用这个命令与*.yaml配置文件进行部署的。
cluster deploy xxx-cluster v4.0.8 ./cluster-deploy.yaml --user root -i /home/xxx-deploy/.ssh/aly_rsa

因为 4.0 版本,tidb-binlog 功能几乎被 ticdc 取代,所以官方文档中并没有提供 tidb-binlog 的扩容方式,但是基本思路都是一样的。可以看下这个文档,asktug 中也有其他同学分享过自己的部署过程,可以结合看下:
https://docs.pingcap.com/zh/tidb/stable/scale-tidb-using-tiup

思路是用tiup扩容的方式增加binlog吗?我也是在asktug 中找其他同学分享过自己的部署过程,就找到这个帖子了,如果有其他的帖子可以私信推荐下吗?我们想实现tidb数据同步到mysql5.7,请问现在官方推荐哪种方案好呢?

ticdc 其实就可以满足,上面的链接就有