【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
可以试下cloudcanal,免费版五个任务,一般也够用了
可以试下cloudcanal,免费版五个任务,一般也够用了
优化DataX的读写分离: 如果TiDB后端存储的是SSD,可以尝试开启DataX的读写分离功能,让读操作尽量平均分配到所有节点上。
datax这玩意就是这速度,我之前研究过调整batchsize,batchByteSize channel基本提升不了多大速度,只能尝试拆分任务,建议换个工具。
我们也调整过这几个参数,对有的数据库管用,有的不管用
增加DataX的channel(通道)数量,不管用
这个咋整啊,更换生产组件,得有推进啊
你是什么场景啊?
数据仓计算完数据,推送到TIDB,tidb做接口平台,有些字段较多的数据推送,会很耗时45分钟左右
组件性能不行,要求更换不是很正常吗,上面提到的cloudcanal可以试试看。
没试过
目前没有好的方案,我们也在用这种方式
确定是目标写的速度慢么
不确定哪里慢
可能产品有待优化了
你是用datax读取还是写入tidb
我们也用datax啊,感觉速度还是可以的,翻翻git看看datax的优化参数试试呗
我们实际使用也觉得datax写入比较慢,希望能够定制出优化比较好的插件