TiDB監控項目導入到既有監控服務上 (Grafana + Prometheus原本已存在)

jimmyjan0824 · 2020 年9 月 26 日 05:40

Hi TiDB顧問們你們好,

  若原本公司內部已有建置Grafana + Prometheus，官方是否有提供方式或Guideline

將TiDB監控項目導入到既有的伺服器上？再麻煩顧問們解惑感謝！

小王同学 · 2020 年9 月 26 日 10:39

你好，建议你这边使用官方部署监控方式，其他方式暂不推荐。可以在 asktug 搜索下是否有其他用户分享案例。

jimmyjan0824 · 2020 年9 月 28 日 16:09

由於希望監控能統一在同一台Grafana 與Prometheus，不希望TiDB獨立出來，不知道顧問們能否提供方法感謝!

北京大爷 · 2020 年9 月 30 日 06:56

目前并没有这样的方案，可以参考如下的文档自行尝试

jimmyjan0824 · 2020 年10 月 6 日 09:45

Hi 各位,

我後來有在官網找到相關的說明文件
實際測試v4.0.7版本是workable

reference:
https://docs.pingcap.com/zh/tidb/stable/deploy-monitoring-services

yilong · 2020 年10 月 6 日 11:28

已经成功了吗？是否还有其它问题？

jimmyjan0824 · 2020 年10 月 12 日 02:18

Hi long,

目前按照官方上述連結方式分開佈署後，TiDB Dashboard QPS與延遲圖表會出不來。

錯誤訊息：
error.api.metrics.prometheus_not_found

能提供pd指向自己佈署的Prometheus的方法 or command嗎？

来了老弟 · 2020 年10 月 12 日 05:57

你好，
可以在 asktug search 下，有类似案例

jimmychien0824 · 2020 年10 月 12 日 08:12

Hi 顧問你好，

已有在asktug中查看您之前回覆的解決方法：

實際執行後仍看不到圖表
已反應在原問題之中，再麻煩顧問不吝指導！

来了老弟 · 2020 年10 月 12 日 09:10

你好，

执行一下该 sql 看是否报错：
select * from METRICS_SCHEMA.etcd_disk_wal_fsync_rate limit 10;

执行 tiup cluster start clustername 在访问 dashboard 看是否解决

执行完以上两个步骤，请帮忙给一下执行结果。

jimmyjan0824 · 2020 年10 月 12 日 16:01

Hi 顧問你好,

版本: v4.0.7
回覆結果如下:
MySQL [(none)]> select * from METRICS_SCHEMA.etcd_disk_wal_fsync_rate limit 10;
±---------------------------±--------------------±------+
| time | instance | value |
±---------------------------±--------------------±------+
| 2020-10-12 15:45:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:46:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:47:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:48:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:50:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:51:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:52:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:53:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:54:04.597000 | 192.168.33.21:10080 | 0 |
| 2020-10-12 15:55:04.597000 | 192.168.33.21:10080 | 0 |
±---------------------------±--------------------±------+
10 rows in set (0.05 sec)

再接序執行tiup cluster start tidbcluster後，仍顯示error.api.metrics.prometheus_not_found

来了老弟 · 2020 年10 月 13 日 02:51

你好，
辛苦将三台 pd-server-deploy_dir/conf/pd.toml 看下，帮忙标注下

这个 sql 可以查询已验证了 config set 生效了，感谢～～

再尝试这样看是否可以解决。

jimmyjan0824 · 2020 年10 月 14 日 02:31

Hi 顧問早上好,

版本: v4.0.7

問題反饋如下:

[tidb@node1 ~]$ tiup update --self
download https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 50.48 KiB / 8.41 Mdownload https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 254.48 KiB / 8.41 download https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 543.48 KiB / 8.41 download https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 2.24 MiB / 8.41 Midownload https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 4.51 MiB / 8.41 Midownload https://tiup-mirrors.pingcap.com/tiup-v1.2.0-linux-amd64.tar.gz 8.41 MiB / 8.41 MiB 100.00% 9.11 MiB p/s
Updated successfully!

[tidb@node1 ~]$ tiup update cluster --force
download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 100.48 KiB / 9.download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 508.48 KiB / 9.download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 950.48 KiB / 9.download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 3.79 MiB / 9.99download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 7.49 MiB / 9.99download https://tiup-mirrors.pingcap.com/cluster-v1.2.0-linux-amd64.tar.gz 9.99 MiB / 9.99 MiB 100.00% 12.10 MiB p/s
Updated successfully!

tiup cluster start tidbcluster

[tidb@node1 ~]$ mysql -u root -p -h 192.168.33.21 -P 4000
MySQL [(none)]> select * from METRICS_SCHEMA.etcd_disk_wal_fsync_rate limit 10;
±---------------------------±--------------------±------------------+
| time | instance | value |
±---------------------------±--------------------±------------------+
| 2020-10-14 02:18:25.600000 | 192.168.33.21:10080 | 0 |
| 2020-10-14 02:19:25.600000 | 192.168.33.21:10080 | 0 |
| 2020-10-14 02:18:25.600000 | 192.168.33.21:2379 | 9.638096507597973 |
| 2020-10-14 02:19:25.600000 | 192.168.33.21:2379 | 32.23062804959936 |
| 2020-10-14 02:18:25.600000 | 192.168.33.22:10080 | 0 |
| 2020-10-14 02:19:25.600000 | 192.168.33.22:10080 | 0 |
| 2020-10-14 02:18:25.600000 | 192.168.33.22:2379 | 11.67044394080789 |
| 2020-10-14 02:19:25.600000 | 192.168.33.22:2379 | 32.10559172389192 |
| 2020-10-14 02:18:25.600000 | 192.168.33.23:10080 | 0 |
| 2020-10-14 02:19:25.600000 | 192.168.33.23:10080 | 0 |
±---------------------------±--------------------±------------------+

嘗試上述方法後，Dashboard的QPS 延遲圖表還是無法顯示，如下:

附件分別為node1, node2, node3上面的pd.toml
node1
pd_node1.toml
node2
pd_node1.toml
node3
pd_node1.toml

jimmyjan0824 · 2020 年10 月 14 日 05:25

目前我的具體詳細配置步驟如下：
https://www.notion.so/TiDB-Grafana-Promethesus-4d45afd934654703b2a1544c41f8ec51

再麻煩顧問不吝指導了，感謝！

Lucien-卢西恩 · 2020 年10 月 14 日 13:44

问题已经解决了是吗？如果有新的问题，麻烦创建新的问题帖子。你的这个操作步骤挺好的，我建议你可以分享在 AskTUG 里面。

jimmyjan0824 · 2020 年10 月 15 日 01:33

Hi Superlzs0476,

尚未解決，只是想說提供自己的操作步驟提供給顧問做參考，以方便顧問locate根本問題。

来了老弟 · 2020 年10 月 15 日 02:26

你好，

尝试通过 tiup，将 grafana 和 prometheus 扩容到当前集群中，以保证 dashboard 的正常使用，我们也有计划在界面上提供选项设置 prometheus 地址。
扩容方式与其他节点类似，
https://docs.pingcap.com/zh/tidb/stable/scale-tidb-using-tiup#使用-tiup-扩容缩容-tidb-集群

jimmychien0824 · 2020 年10 月 18 日 14:29

Hi 顧問好，

期待你們的改版了，謝謝你們即時又詳細的回覆。

来了老弟 · 2020 年10 月 19 日 00:51

感谢关注，可以关注官网的 release note，重要更新会在上面显示