Cloud王
2023 年1 月 6 日 02:14
1
【 TiDB 使用环境】生产环境http://XXX:2379 --start-ts=XXXXX --sink-uri=“kafka://XXX:9092/topicname?partition-num=3&protocol=canal-json&replication-factor=3&sasl-user=XXX&sasl-password=XXX&sasl-mechanism=SCRAM-SHA-256” --changefeed-id=“XXX” --config=./XXX.toml
【遇到的问题：问题现象及影响】
即cdc节点会大量循环Describe kafka中的所有topic。目前kafka中topic数量很多，大量Describe 造成了性能问题。
2、问题调查https://github.com/Shopify/sarama/issues/722
这里想确认一下：
neilshen
2023 年1 月 6 日 09:10
2
Cloud王:
1、cdc是否使用了golang的sarama
使用了。
没有配置。
相关代码下面的链接中，欢迎提 PR 贡献解决方案～
// DeriveTopicConfig derive a `topicConfig` from the `Config`
func (c *Config) DeriveTopicConfig() *AutoCreateTopicConfig {
return &AutoCreateTopicConfig{
AutoCreate: c.AutoCreate,
PartitionNum: c.PartitionNum,
ReplicationFactor: c.ReplicationFactor,
}
}
// NewSaramaConfig return the default config and set the according version and metrics
func NewSaramaConfig(ctx context.Context, c *Config) (*sarama.Config, error) {
config := sarama.NewConfig()
version, err := sarama.ParseKafkaVersion(c.Version)
if err != nil {
return nil, cerror.WrapError(cerror.ErrKafkaInvalidVersion, err)
}
var role string
if contextutil.IsOwnerFromCtx(ctx) {
role = "owner"
} else {
Cloud王
2023 年1 月 6 日 09:50
4
请问cdc里有没有啥配置，能够让golang的conf.Metadata.Full=false这个配置生效呢？
neilshen
2023 年1 月 6 日 10:03
5
没有这样的配置😥，在这个帖子之前我们还没遇到过这样的情况。
system
2023 年3 月 7 日 10:03
6
此话题已在最后回复的 60 天后被自动关闭。不再允许新回复。