tidb-lightning导入csv数据问题

【 TiDB 使用环境】
线上环境v5.0.3版本

【问题】
使用 tidb-lightning导入csv文件数据,数据量大概是2亿左右,导入模式选择的是TiDB-backend,避免影响线上业务的正常访问;

[lightning]
# 用于拉取 web 界面和 Prometheus 监控项的 HTTP 端口。设置为 0 时为禁用状态。
status-addr = ':8289'

问题:导入过程中在Grafana的tidb-lightning导入过程中看不到监控数据?
说明:tidb-lightning节点不在tidb集群节点上部署,是需要部署node_exporter和blackbox_exporter吗?

补充,参考文档:https://docs.pingcap.com/zh/tidb/v5.0/monitor-tidb-lightning 也是不行的

1 个赞

检查一下 prometheus 的监控是否可以看到监控数据,另外参考 Lightning 监控配置方法配置一下。

你好, prometheus 的监控没有看到监控数据,这里问题是出现在哪里呢?

按照下面文档配置,也不行,
参考文档:https://docs.pingcap.com/zh/tidb/v5.0/monitor-tidb-lightning

可以看一下 prometheus 的 log 有没有访问 Lightning 的地址的日志和相关的报错。

1 个赞

这是conf/prometheus.yml配置文件中添加的 Lightning的地址
image

查看log/prometheus.log值没发现有相关报错,但是Lightning 的地址好像看不到
prometheus.log日志都是这样的记录

如果是配置生效,应该是可以看到的。

嗯嗯,不确定配置是否生效了

1 个赞

就看 prometheus 的数据里面是不是没有 lightning 数据 ?

1 个赞

prometheus数据里面没有 lightning 数据,不知道为啥数据没有采集到?

从描述看还是因为 lightning 的监控配置没有生效,prometheus 没有采集到数据。所以在按照文档确认一下以下几点 :

  1. 配置文件配置语法是否正确:
  2. 配置完成,重启 promtheus 以后,prometheus 启动日志是否有标记采集 Lightning 对应的 IP 数据;
  3. 确认一下 Prometheus 到 Lightning 的网络端口是否是正常的。

感谢您的回复
1、配置文件配置应该正确,下面是配置文件内容
[lightning]
level = “info”
file = “/root/scripts/tidb-lightning.log”
pprof-port = 8289
status-addr = ‘0.0.0.0:8289’

[tikv-importer]
backend = “tidb”
on-duplicate = “replace”

[mydumper]

源数据目录。

read-block-size = 65536
batch-size = 1262485504
data-source-dir = “/data/hotfix/msg_db”
no-schema = true
filter = [’.’, ‘!mysql.’, '!sys.’, ‘!INFORMATION_SCHEMA.’, '!PERFORMANCE_SCHEMA.’, ‘!METRICS_SCHEMA.’, '!INSPECTION_SCHEMA.’]

[tidb]

目标集群的信息

host = “10.30.xx.xx”
port = 4000
user = “xxxxx”
password = “xxxxx”
status-port = 10080
pd-addr = “10.30.xx.xx9:2379”

2、prometheus配置文件中添加内容

scrape_configs:
  - job_name: 'lightning'
    static_configs:
      - targets: ['10.30.xx.xx:8289']
  - job_name: 'tikv-importer
    static_configs:
      - targets: ['10.30.xx.xx:8286']

3、重启 promtheus 以后,启动日志中没有报错也没有看到 Lightning 对应的 IP 数据

另外,我补充一下,Lightning是我手动部署的,不是通过tiup部署的,promtheus节点和Lightning节点之间网络是通的,不知道问题出在了哪里

监控中午导数据的时候有了一点,但是中途又没有了

是不是导入已经结束了,可以对一下时间点和 Lightining 导入的日志看看 ?

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。