使用datax推送tidb的时候,速度很慢,有没有优化解决方案

, ,

【 TiDB 使用环境】生产环境 /测试/ Poc
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】

可以试下cloudcanal,免费版五个任务,一般也够用了

可以试下cloudcanal,免费版五个任务,一般也够用了

优化DataX的读写分离: 如果TiDB后端存储的是SSD,可以尝试开启DataX的读写分离功能,让读操作尽量平均分配到所有节点上。

datax这玩意就是这速度,我之前研究过调整batchsize,batchByteSize channel基本提升不了多大速度,只能尝试拆分任务,建议换个工具。

我们也调整过这几个参数,对有的数据库管用,有的不管用

增加DataX的channel(通道)数量,不管用

这个咋整啊,更换生产组件,得有推进啊

你是什么场景啊?

数据仓计算完数据,推送到TIDB,tidb做接口平台,有些字段较多的数据推送,会很耗时45分钟左右

组件性能不行,要求更换不是很正常吗,上面提到的cloudcanal可以试试看。

没试过

目前没有好的方案,我们也在用这种方式

确定是目标写的速度慢么

不确定哪里慢

可能产品有待优化了

你是用datax读取还是写入tidb

我们也用datax啊,感觉速度还是可以的,翻翻git看看datax的优化参数试试呗

我们实际使用也觉得datax写入比较慢,希望能够定制出优化比较好的插件