某个新的业务上线,要手动同步20亿条数据到某张表,为了节省时间,业务上是按照某一个维度批量写入的(批量写入的数据量不固定,最大一次批量写入1.8万条),但是带来的最大影响就是影响到了正常业务的请求,请问这种情况有办法规避吗?
我们tikv是3节点4核的cpu,同步数据时发现tikv的cpu负载很高,扩容可以解决,但是我们平时资源还够用,想问问有没有不用扩节点的解决方案
某个新的业务上线,要手动同步20亿条数据到某张表,为了节省时间,业务上是按照某一个维度批量写入的(批量写入的数据量不固定,最大一次批量写入1.8万条),但是带来的最大影响就是影响到了正常业务的请求,请问这种情况有办法规避吗?
我们tikv是3节点4核的cpu,同步数据时发现tikv的cpu负载很高,扩容可以解决,但是我们平时资源还够用,想问问有没有不用扩节点的解决方案
CPU+IO性能决定并发写入效率,楼主情况不升级就要多花时间了
楼主的tikv节点配置不高啊
我们这边尝试过开启raid卡缓存,开启后写入速度大幅度提升。但如果raid卡没有电池不建议开启,断电会导致丢失数据。
linux命令如下:
MegaCli64 -LDInfo -Lall -aALL #查看当前缓存情况
MegaCli64 -LDSetProp -WB -Lall -aAll #有电池启用缓存
MegaCli64 -LDSetProp CachedBadBBU -Lall -aALL #没有电池启用缓存
MegaCli64 -LDSetProp NOCachedBadBBU -Lall -aALL #没有电池关闭缓存
PS: SSD硬盘应该不需要,我们这边是机械硬盘
在资源不变的前提下建议减小批次写入量(因为需要多数派收到,这本身就会占cpu和网络资源),同时拉长整个导数的时间
这cpu太差了
先按照官方部署要求部署,然后再测试性能是否和官方说的一样,?或者先测试一下非标准部署的集群性能?看下是否满足业务需求, 再插入具体的业务数据, 插入具体业务数据慢,就需要进行具体分析了; 目前你说的TiKV写入CPU就已经很高了,你得先扩CPU
该主题在最后一个回复创建后60天后自动关闭。不再允许新的回复。