我的需求是海量用户标签数据存储,例如给1亿用户打多个维度标签(1千以内),
为了快速提取数据,我们期望的存储是bitmap(或者roaringbitmap):
- 在标签上 记用户集合数据;
- 在用户上 记标签集合,给用户打了哪些标签;
不清楚TiDB对这一块的支持情况如何?打算做一个调研
我的需求是海量用户标签数据存储,例如给1亿用户打多个维度标签(1千以内),
为了快速提取数据,我们期望的存储是bitmap(或者roaringbitmap):
不清楚TiDB对这一块的支持情况如何?打算做一个调研
可以看下 mysql 的实现,再试下 tidb
你是要给每一条数据库存个固定长度二进制字段,然后按位查询?
TiFlash 延迟物化可以支持的
当有过滤条件下推到 TableScan 算子时,TableScan 算子执行多版本并发控制 (MVCC) 过滤,并生成 MVCC Bitmap,读取过滤条件相关的列,过滤满足条件的行,生成 Filter Bitmap,将 MVCC Bitmap 和 Filter Bitmap 进行与操作 (AND),生成 Final Bitmap ,根据 Final Bitmap 读取剩余列的对应的行,合并Filter Bitmap和 Final Bitmap 中读取的数据,返回结果。
https://docs.pingcap.com/zh/tidb/stable/tiflash-late-materialization#实现机制
木有玩过,看看哪个大佬玩过
没玩过
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。