【 TiDB 使用环境】生产环境
【 TiDB 版本】7.1.0
【复现路径】了解业界开启server.grpc-compression-type需要注意什么。
【遇到的问题:问题现象及影响】
集群架构:tidb、tikv、pd、ticdc、tiflash
背景:TiDB集群在做跨AZ迁移,使用的placement-rule方法切换主从。AZ间带宽流量较小,需要降低tikv之间数据同步带宽,想问开启server.grpc-compression-type参数有哪些影响?
已有结论:
1、sysbench写入数据后,发现带宽流量下降50%左右;
2、集群cpu上涨,响应耗时增加;
问题:rt,除以上影响,还有对集群有其他影响么?
MrSylar
( Mr.Sylar)
2
本身主要是给两地三中心架构用的,使用的用户少,不确定性的问题可能会多
yg_2024
(yangguang)
4
启用grpc-compression-type压缩会增加 CPU的使用率。同时要关注下gRPC内存占用的情况,压缩会减少传输的数据量,从而可能降低gRPC使用的内存,但压缩和解压缩过程本身也会消耗一定的内存和CPU资源。
另外,在低带宽环境下完成AZ切换,可以考虑调整以下几个参数:
一、TiCDC参数调整:
max-batch-size: 减小该值可以降低单次同步的数据量,适应低带宽环境。建议从默认值512减小到128或64。
sink-flush-interval: 增加该值可以减少数据刷新频率,降低网络压力。建议从默认的1秒增加到5-10秒。
compression: 启用压缩可以显著减少网络传输的数据量。建议设置为"gzip"。
二、PD调度参数:
scheduler.max-pending-influence: 减小该值可以降低调度对网络的压力。建议从默认的100减小到50或更低。
scheduler.region-schedule-limit: 降低该值可以减少跨AZ的Region调度频率。建议从默认的2048减小到1024或更低。
三、TiKV参数:
server.grpc-compression-type: 启用gRPC压缩可以减少TiKV节点间的数据传输量。建议设置为"gzip"。
raftstore.raft-max-size-per-msg: 减小该值可以降低单次Raft消息的大小。建议从默认的1MB减小到512KB或更小。
四、TiDB参数:
tidb_enable_rate_limit_action: 启用该参数可以限制查询的执行速率,防止大查询占用过多带宽。建议设置为ON。
tidb_distsql_scan_concurrency: 减小该值可以降低并发扫描的数量,减少网络压力。建议从默认的15减小到5-10。
1 个赞
system
(system)
关闭
5
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。