为表构建tiflash的副本的速度问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.7
  • 【问题描述】:我为两张表建立tiflash副本(2个),两张表的数据量分别为1.5亿和10亿,从昨晚19点开始,目前进度分别为0.905、0.590,这速度是不是有点慢?
    现在观察1.5亿表的同步,10分钟,进度上涨了0.0002,这太慢了。。。
    请问专家可能是哪方面的问题,我该怎么确认问题

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出打印结果,请务必全选并复制粘贴上传。

你好,
tifalsh 同步副本较慢,可以检查下当前 tikv 的负载情况和 tiflash 节点服务器负载情况,还有 tikv 和 tiflash 服务器之间的网络带宽。

可以简述下当前集群的 topo 情况。

topo:
6TiKV(每个TiKV上4个实例,资源:88C 250G)
2 Tiflash(资源:88C 250G)

从监控上看:

目前看下来Tiflash资源基本没什么消耗
(1)其中有3台TiKV的可用内存为:20G(最近新扩容的),另三台TiKV 可用内存为:70G,但都比较稳定
(2)Tiflash的 inbound在0~7M左右上下波动

另外这两张表还有写入和查询动作,查询不大,写入(insert)大概每秒1000笔不到。。

https://docs.pingcap.com/zh/tidb/stable/configure-store-limit
可以适当调大参数来加快调度。数值不宜过大,否则会对 tikv 造成压力。

1 个赞

默认我看store limit设置的是15个,我现在统一改成240,并没有发现明显加快。

tikv资源也没发现在使用上有上升,我可以继续提高这个值吗?

先调整回来,太大了。。。,使用下面方法提供下 tiflash 和 pd 的监控和 node_exporter 的监控面板看下:


打开 grafana 监控,先按 d 再按 shift+e 可以打开所有监控项。

1. chrome 安装这个插件https://chrome.google.com/webstore/detail/full-page-screen-capture/fdpohaocaechififmbbbbbknoalclacl

2. 鼠标焦点置于 Dashboard 上,按 ? 可显示所有快捷键,先按 d 再按 E 可将所有 Rows 的 Panels 打开,需等待一段时间待页面加载完成。

3. 使用这个 full-page-screen-capture 插件进行截屏保存