pump+drainer+kafka

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:v3.0.8
  • 【问题描述】:
    1、从tidb同步数据到kafka 这一步中间的这几个组件怎么分配 pump 要和drainer部署对应(节点上有pump 就要有一个drainer么 还是怎么对接的 )
    2、搭建了kafka集群怎么监控不到 是要配置 inven 文件中的kafka_node_exporter 选项 么
    3、kafka_drainer 这个怎么配置啊 官方指导文档太简要 了

drainer_kafka_drainer.toml (2.6 KB) inventory.ini (2.2 KB)
若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

1、 tidb-binlog 官方文档或者源码相关的文档,可以了解到相应的内容:

1)pump + drainer 需要配合使用,一套 tidb-binlog 可以部署多个 pump 可以对应多个 drainer

2)但是不同的 drainer 可以输出到不同的目标,如文件,mysql 以及 kafka 等

https://pingcap.com/docs-cn/stable/reference/tidb-binlog/overview/#tidb-binlog-简介

2、binlog + kafka 的方式,kafka 监控,可将服务器添加到 [kafka_exporter_servers] 下:
https://github.com/pingcap/tidb-ansible/blob/master/inventory.ini#L45

3、tidb-binlog kafka 相关的配置可以看下下述链接,使用 ansbile 或者二进制部署的方式:

https://pingcap.com/docs-cn/stable/reference/tidb-binlog/deploy/#使用-binary-部署-tidb-binlog

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。