DM在安装和同步时存在的疑问

1、在用ansible先后部署TiDB集群和DM集群,各自都包含了prometheus和grafana,请问prometheus和grafana能够整合吗,怎么整合,或者推荐的方案是什么? 2、在用DM全量同步数据时,问题1:目标数据库和表是否必须要事先创建好才能同步吗?;问题2:DM同步能不能简单的配置比如*号代表全库表同步,还是说每个表都需要配置规则。 3、DM portal没有最新版本吗。貌似生成的配置文件检测不通过。

No1.

可以整合的,理论上就是讲 2 套 prometheus 数据通过一套 Grafan 进行展示;或者可以讲 DM 的监控配置到 TiDB 集群 Prometheus 配置里面。可以借鉴一下这个方案,详情建议参见 Prometheus 文档

假设 集群1 和 集群2 共用一个 grafana 监控,集群1 已经部署好了。
1、local_prepare、bootstrap、deploy 阶段,集群2 inventory.ini 中注释掉 grafana_servers 组下面的 ip(注:inventory.ini 中的 grafana 用户名密码假设已经是一样的)
2、在执行 start.yml 之前取消 grafana_servers 组中 ip 的注释,然后执行 start.yml,这个一般直接报错,原因是在 grafana 中没有生成 集群2 的 prometheus 数据源
3、手动在 grafana 中添加 集群2 的数据源,然后在 tidb-ansible/scripts 目录下执行 python2 grafana-config-copy.py

注意

  1. 以上操作仅是理论方案,需要根据实际的集群部署情况进行相应的调整。例如第一步在 inventory.ini 中的 [grafana_servers] 主机组下面的 IP,可能因为 tidb-ansible 或者 dm-ansible 中的 deploy.yml 在一些分支版本中将 Monitoring_serversMonitor_servers 部署逻辑要求必须安装,所以不能跳过 Grafana 的部署;
  2. 理论上只要将 Second Prometheus 源配置到 Grafana 中就可以实现 Grafana 展示多个 Prometheus 监控数据;
  3. 强烈建议先了解 Prometheus 和 Grafana 的基础概念后,才会提高 Prometheus 监控框架下维护集群的配置。

No2.

DM 有三种同步模式

  • full loader 初始化会创建 database 和 table
  • increment 不会
  • all = full + increment loader 初始化会创建 database 和 table

No3.

我们有全库配置和单表配置,详情见官方文档的 “普通同步场景配置”

No.4

目前 DM portal 是根据新版的 DM 设置的,DM 前后配置文件变化不到,如果遇到参数不识别,建议进行确认,例如 resouce_id 年初版本提供的便捷配置上游的参数,有兴趣可以对参数整体了解一下。

1赞

如果觉得别人的回答有帮助,可以将回答标记为解决方案:white_check_mark:,这样可以帮助其他有同样问题的人快速找到答案

你好,DM Portal 版本是哪个?因为 DM 后来版本做了严格的 task 配置校验,不合法的都起不来。有可能是这个原因导致的,后来 DM Portal 适配过。