有没有处理过单表2亿条数据,33个字段(无大数据字段 text,blob之类的),要求:一个 select-from返回全表数据的

不好用,因为Tidb别管是以流式获取数据还是以游标方式获取数据都会导致这个大SQL OOM
1.所以可行的解决方法还是拆批处理,分多个SQL把数据拿出来,根据业务逻辑拆批,批还比较大再加上窗口函数拆批
2.还有个思路就是从业务解决,为什么要一个SQL把2亿数据查出来,这本身就不合理.
流式和游标获取数据: https://docs.pingcap.com/zh/tidb/stable/dev-guide-connection-parameters#使用-streamingresult-流式获取执行结果

2 个赞