tiflash列存问题

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
v5.2.1

【概述】 场景 + 问题概述
对tiflash的存储有几个问题啊,

  1. tiflash是列存,有没有压缩,我们tikv中一个副本是1T,为什么到了tiflash,一个副本变成了1.5T?
  2. tiflash列存,如果我们group by 一个字段时,会不会读很多字段?
  3. 现在我们现在有个表,在tikv中不到2个T,该表有几个大字段,同步到tiflash之后一个 select count(1) from xxx,某个tiflash节点直接就挂了,该tiflash节点是 132G内存的
  4. 同样使用该sql,只读取了一列,还是limit的,直接挂了,我们是3台tiflash,每台 132G内存,期间无其他SQL操作,一个SQL直接宕机

1 个赞

麻烦帮忙导出,所有节点在 OOM 时间段前后的 TiFlash-Summary

在左上角选择其中一个发生 OOM 的节点,导出下面的监控:

TiFlash-Summary

TiFlash-Proxy-Details

Node_exporter

以及该 OOM 的节点的日志 tiflash.log/tiflash_tikv.log/tiflash_error.log

老师,可以先帮忙解答下上面的几点问题吗

  1. TiFlash 也会压缩,高压缩率。和 TiKV 不一致,可能是数据分布导致的,列中的重复数据可能不多。
  2. group by 一个字段,应该只需要读取一个字段。
  3. 问题 3和4 看起来应该是有问题,能否提供下上面的信息,以及表结构,多谢。 sql 就是上面截图的sql对吧。
2 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。