求方案,大批量插入数据对tidb查询的数据影响

某个新的业务上线,要手动同步20亿条数据到某张表,为了节省时间,业务上是按照某一个维度批量写入的(批量写入的数据量不固定,最大一次批量写入1.8万条),但是带来的最大影响就是影响到了正常业务的请求,请问这种情况有办法规避吗?

我们tikv是3节点4核的cpu,同步数据时发现tikv的cpu负载很高,扩容可以解决,但是我们平时资源还够用,想问问有没有不用扩节点的解决方案

CPU+IO性能决定并发写入效率,楼主情况不升级就要多花时间了

楼主的tikv节点配置不高啊

我们这边尝试过开启raid卡缓存,开启后写入速度大幅度提升。但如果raid卡没有电池不建议开启,断电会导致丢失数据。
linux命令如下:
MegaCli64 -LDInfo -Lall -aALL #查看当前缓存情况
MegaCli64 -LDSetProp -WB -Lall -aAll #有电池启用缓存
MegaCli64 -LDSetProp CachedBadBBU -Lall -aALL #没有电池启用缓存
MegaCli64 -LDSetProp NOCachedBadBBU -Lall -aALL #没有电池关闭缓存

PS: SSD硬盘应该不需要,我们这边是机械硬盘

1 个赞

https://docs.pingcap.com/zh/tidb/stable/sql-faq#在-tidb-中如何控制或改变-sql-提交的执行优先级

不知道能不能解决你的问题,可以测测
image

我觉得你的cpu 比较低呀,磁盘时SSD吗?

提高cpu数据量、和磁盘IO能力 写入就快啦

在资源不变的前提下建议减小批次写入量(因为需要多数派收到,这本身就会占cpu和网络资源),同时拉长整个导数的时间

这cpu太差了

先按照官方部署要求部署,然后再测试性能是否和官方说的一样,?或者先测试一下非标准部署的集群性能?看下是否满足业务需求, 再插入具体的业务数据, 插入具体业务数据慢,就需要进行具体分析了; 目前你说的TiKV写入CPU就已经很高了,你得先扩CPU

该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。