tikv在scan最新插入的数据的时候性能低。

🪐 TiDB 技术问题
1

【 TiDB 使用环境】生产环境
【 TiDB 版本】
Starting component cluster: /root/.tiup/components/cluster/v1.12.5/tiup-cluster display tidbCluster
Cluster type: tidb
Cluster name: tidbCluster
Cluster version: v7.1.1

【复现路径】tikv作为juicefs的元数据库使用，然后我集成并mount之后，新建了三个文件夹，test20w，test20w2, test20w3，三个文件夹，然后分别在三个文件夹新建20w个文件，之后执行tikv的txn的scan操作，对三个文件夹下的文件进行扫描。发现最后执行新建20w文件命令的文件夹用时最久。如果之后有另外一个文件夹执行了新建大量文件的命令，那么之前的文件夹的scan命令就会正常
【遇到的问题：问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件：截图/日志/监控】
Starting component cluster: /root/.tiup/components/cluster/v1.12.5/tiup-cluster display tidbCluster
Cluster type: tidb
Cluster name: tidbCluster
Cluster version: v7.1.1

lQLPJwZH1b5AvWnNApTNBiSwd2943V_JXIMGG9z-JbswAA_1572_660
lQLPJwZH1b5AvWnNApTNBiSwd2943V_JXIMGG9z-JbswAA_1572_6601572×660 23.3 KB

2

满打满算三台机器混部集群……有点难了…… :crazy_face:

3

三台物理机的配置很高么？磁盘 IO 也够？

4

我估计不一定与混部有关，我们对tikv内部实现并不熟悉，只是使用，发现有这个性能上的问题。比较奇怪。

5

给的信息还是太少。
先从grafana -》fast tune里面找找看，是否能快速找到一些有价值的信息。

这是手册。

6

1.三台机器部署这么多节点，几乎不可避免会有资源挤兑的问题。请确认一下出现问题时，机器的各项资源使用情况。
2.确认集群热力图情况，在Dashboard 面板可以查看。
3.针对访问慢的语句，重点分析慢查询情况。

排查集群访问日志和监控图表，对上面几个方向一一确认一下。

1 个赞
7

应该不是资源问题，这个集群并不繁忙，你们那里能不能必现？

8

这是juicefs的参考，在挂载成功之后再juicefs的某几个个目录下创建文件。
#! /bin/bash
for i in $(seq 0 200000)
do
touch test$i
done

然后对每个目录执行查找操作
time ls -l /mnt/unifs-h001/dros/test/ |grep test11111

发现最后进行文件创建的目录最慢

9

我不是個存储的研发人员，是上层业务人员，只是发现有这个问题。公司也没有正经的存储研发。

10

我记得 juicefs 是用的 tikv 裸 kv。你这样部署一个集群不确定有没有问题
TiDB 社区中用 juicefs 的应该不多。你这个用法估计没太多人可以提供帮助。

11

集群资源消耗不大

12

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。