tidb-lightning配置prometheus监控没有数据

【 TiDB 使用环境】测试
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
tidb-lightning配置prometheus后grafana上看到的监控没有数据。
这是lightning配置:

这是prometheus.yml里添加的配置:

帮看看是哪里配置没配好吗?
【资源配置】
【附件:截图/日志/监控】

grafana监控上的数据都是空的:

你写的是pprof-port,换成status-addr试下。

# 用于进度展示 web 界面、拉取 Prometheus 监控项、暴露调试数据和提交导入任务(服务器模式下)的 HTTP 端口。设置为 0 时为禁用状态。
status-addr = ':8289'

详细配置文件说明见: https://docs.pingcap.com/zh/tidb/v5.4/tidb-lightning-configuration

这样配置不对吗?

我估计是很早之前的配置文件,文档一直没更新。还是按照我发的连接里把,我用过status-addr,是可以看到web界面的

我这样配置,granfan上还是看不到进度监控。

另外从日志上来看,导入的速度会越来越慢, 刚开始是200多MIB/s ,慢慢到现在只有10多MiB/s了, (10来T的数据)


数据导入的问题建议单独重新发帖描述

首先,确保您已经按照官方文档正确地配置了TiDB Lightning的Prometheus监控。如果您已经按照官方文档配置了Prometheus监控,但是在Grafana上看到的监控没有数据,可能是以下原因之一:

  1. 检查Prometheus是否正在收集TiDB Lightning的监控数据。您可以在Prometheus的Web UI上检查是否有来自TiDB Lightning的监控数据。如果没有,请检查Prometheus的配置文件是否正确地指定了TiDB Lightning的监控地址。

  2. 检查Grafana是否正确地连接到Prometheus。您可以在Grafana的数据源设置中检查是否正确地配置了Prometheus的地址和端口。如果您使用的是TiDB Lightning的默认端口,那么Prometheus的地址应该是http://<tidb-lightning-ip>:9090

  3. 检查Grafana的监控面板是否正确地配置了Prometheus的查询语句。您可以在Grafana的监控面板设置中检查查询语句是否正确地指定了TiDB Lightning的监控指标。例如,如果您想查看TiDB Lightning的导入速度,查询语句应该是tidb_lightning_importer_speed_bytes

如果您已经检查了以上三个方面,但是仍然无法在Grafana上看到TiDB Lightning的监控数据,请尝试重新启动Prometheus和Grafana,并检查日志文件以获取更多信息。如果问题仍然存在,请尝试在TiDB社区论坛上寻求帮助。

这种情况下,一般来说是遇到很多小文件导致的,你导出是用的什么工具来导出啊?

导出是用的dumpling
nohup /root/tidb/tidb-community-toolkit-v6.5.1-linux-amd64/dumpling -u my_dumpling -p ‘’ -P 3306 -h xxxxx --filetype sql --read-timeout=1h -t 16 -o /data3/tmp1 -r 200000 -F256MiB > /data3/dumpling.log 2>&1 &

用了-r确实会有这个问题,你可以看下dumpling的说明,在dump TiDB数据时候,这个-r后边的数值是无效的,不管写的是多少,都是根据TiDB内部的一个chunk表来获取的分片上下界。如果很慢的话,可以看下日志,看正在写入哪个表,先把个表过滤一下。后边单独对这个表重新去掉-r做导出

或者,更简单的,把-r去掉,只设置-F,不过这时候就没办法对单表做并发导出了,对大表的导出时间会增加

我现在是dump MySQL数据,这个参数也是无效的吗? 现在的场景是有一些10来T左右的库,想迁到tidb上,单表都不大,几个G, 能不能帮忙给个dumpling导出命令的模板。

对MySQL -r 还是有效的,本身就是对单表只能一个线程来导出,应该不会出现某些文件特别小的情况。难道你是通过逻辑导入方式,不是local模式直接导入TiKV么? :thinking:
如果是逻辑转换成SQL导入,确实表越大插入会越慢,也正常。可以看下: https://docs.pingcap.com/zh/tidb/dev/tidb-lightning-physical-import-mode

我用的都是local模式,也慢啊,还有好些问题: 比如用local模式导完需要analyze table 一个不足百W的表,需要2个多小时才能分析完,也开了fast analyze,好像没什么用(tidb5.4.3)。

此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。