跑大SQL导致宕机

【 TiDB 使用环境】
v5.4.0
跑单表数据量大的情况下,执行SQL Out Of Global Storage Quota!
导致宕机

1 个赞

单sql有多少记录处理啊?

2 个赞

配置下quota吧,还超就只能拆sql,分批跑了

2 个赞

是事务太大了吗,可以尝试拆一下,或者设置这个参数看看: 系统变量 | PingCAP Docs

1 个赞

数据量有多大

1 个赞

上亿数据

1 个赞

上亿条

1 个赞

设置过了没有效果

1 个赞

设置了,但是好像也是超

1 个赞

是用什么方式跑数据的,用load data,还是直接insert,或者insert select?

1 个赞

select 查询

1 个赞

2003 - Can’t connect to MySQL server on现在是这样

1 个赞

使用执行计划没看见使用硬盘空间

1 个赞

这个错误可能是oom了,你检查一下tidb是不是重启了

1 个赞

只是查询的话,得优化一下sql,可以贴一下执行计划吗

1 个赞

确实重启了,EXPLAIN ANALYZE
SELECT
merchant_id,
amazon_order_id,
marketplace_id
FROM
amazon_order
GROUP BY
merchant_id,
amazon_order_id,
marketplace_id
HAVING COUNT( id ) >= 2;

1 个赞

oom 问题处理可以参考下官网来排查优化下 SQL
https://docs.pingcap.com/zh/tidb/stable/tidb-troubleshooting-map#32-oom-问题

开启游标吧,FetchSize

官网没搜索到开启这个的参数,请教一下怎么开启呢

使用通过硬盘处理,限制单条SQL内存限制,但是还是OOM