当前业务场景是:用户画像走的是关联表,标签数据和用户数据关联查询。 标签和用户数据的规模为:千万级、亿级 ,目前关联查询时间约 20-30秒 ,之前调研了bitmap 存储方案。这种场景基于tidb有没有更好方案?

【 TiDB 使用环境】生产环境
【 TiDB 版本】tidb v6.1.0
【复现路径】做过哪些操作出现的问题
【遇到的问题:关联查询慢】
【资源配置】 5个kv节点(8核32G) 3个tiflash节点(16核64G)
【附件:截图/日志/监控】

用户千万级,画像标签亿级,一个用户最多平均几十条标签,就算你上百条,单用户查询也无需20-30s。所以很奇怪,这种不在于用什么数据库,而在于之前用的什么怎么能这么慢。

我们目前也面临类似的困惑。不过主要集中在标签计算上。用户画像基本上都是点查还好,但是做挖掘、推荐的时候也比较慢。

我们是以前用redis,但真耗机器。

我们目前用的阿里云adb还行,就是太贵了,现在也在调研tidb的tiflash是否支持大数据量的OLAP能力

tiflash 支持 MPP的,可以POC 试试

1 个赞

缓存: 使用缓存机制,例如Redis,将热门查询的结果缓存起来,从而避免频繁查询数据库。

使用TiFlash: TiFlash 是 TiDB 生态系统中的一个列存储数据库,专门用于 OLAP 查询。

redis继续用。

:joy:redis存不了这么大的数据量吧

云上的Tidb serverless无服务器架构了解一下,按需付费Pay-As-You-Go

你可以搜索一下携程的实践: