TiKV热点问题

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v4.0.8
  • 【问题描述】:
    我通过Spark的write.jdbc的方式,向TiDB中写入了几百G的数据。我看热点图,发现有很多我没有建立的表,占了很多写入量。不太清楚是怎么回事。能帮我看下我的数据写入有问题吗?

    pdw库是我真正写入的库
    table_1367之类的表或者库,我没有建立过,是系统库吗?

Spark 的 write jdbc 写入是通过 TiSpark 组件写入的么
table_xxx 这种不是系统库,应该不是 TiDB 自己生成的。

不是通过TiSpark写的,就是普通的Spark.write.format(jdbc)写的



用TiSpark写是不是会更快?
https://docs.pingcap.com/zh/tidb/stable/tispark-overview#通过-jdbc-将-dataframe-写入-tidb
我们有两个TiDB集群,都有很多table_xxx,通过navicate数据库工具也没发现有这些表,请问如何知道这些表是怎么产生的 ?

我大部分的数据,都写在图中的pdw和cdm库里面,大约有500G左右,但是我看这两个库的写入量并不大。在navicate里面,这两个库的数据都是正确的,所以我想,是不是把这两个库的数据,给显示到table_xxx里面去了?

还有就这这个长长的线。这个表我只用了10多分钟,就写完了,写完之后就没有动,既没有写数据,也没有读数据,但是图中好像显示在持续写入,而且写入数据量还很大的样子,好几个G好几个G的。

TiSpark 写是不是会更快?
这个可以具体测试一下性能看下实际的情况

连接到 TiDB 中是看不到这些库和表的是吧?如果是的话,这个集群是升级上来的集群,还是一开始就部署为 4.0.8 版本的集群?

之前有一个 dashboard 热力图 BUG 的帖子,可以确认一下