生产环境tidb存储日志保留策略,以及参数优化设置

【 TiDB 使用环境】生产环境
【 TiDB 版本】
【复现路径】做过哪些操作出现的问题
【遇到的问题:问题现象及影响】
【资源配置】进入到 TiDB Dashboard -集群信息 (Cluster Info) -主机(Hosts) 截图此页面
【附件:截图/日志/监控】
想问下大家,各位的生产环境tidb存储日志保留策略是怎么设置的,以及tidb,tikv和pd,ticdc等的参数优化设置,尤其是哪些参数特别重要,默认安装后需要进行调整的?生产环境运行中,有什么特别需要注意的地方吗?

生产环境的日志都是直接输出到stdout,然后由k8s的日志采集工具采集走。
至于配置,一般就改下最大事务,其他的配置都用默认的。
真正要对应改的话,建议参考线程池优化,内存优化两篇文章改改。
https://docs.pingcap.com/zh/tidb/v7.1/tune-tikv-thread-performance
https://docs.pingcap.com/zh/tidb/v7.1/tune-tikv-memory-performance

没什么特别的参数需要设置。都是边使用边调整的。

我一般是默认值,出问题了在调整

大部分参数采用默认值即可,因为有些参数是要根据具体情况才能设置的,没有说一定是最优值。拓扑文件配置下集群的部署路径、存储路径、慢查询阈值、日志级别和各节点组件的host即可

在默认值基础上按需调整

公司有个专门的部门去研究数据库,提供参数模板

保存60天备份 日志不需要保留

确实,都是在实践验证中不断调整,没有一蹴而就的

根据需求调整

下面是我常用的参数配置,仅供参考,还要根据实际环境来动态调整。
tidb:
log.file.max-backups: 100
log.file.max-days: 90
max-index-Length: 12288
mem-quota-query: 10737418240
oom-use-tmp-storage: true
performance.max-procs: 16
tmp-storage-path: /data1/tidb-temp
tmp-storage-quota: 107374182400
tikv:
Log.file. max-backups: 100
Log. file.max-days: 90
raftstore.apply-pool-size: 4
raftstore.store-pool-size: 5
storage.block-cache.capacity: 100G
pd:
location-labels: [“zone”,“rack”,“host”]

1 个赞

看空间大小,基本上最少保留30天日志

日志默认都是一直留着,每个组件都有相应的保留参数,设置一下。
生产运行中主要注意下隔离级别,其他的都是可以遇到问题再优化的。

一般默认,关注业务特点,快出现问题的时候进行针对性修改和调整。

日志有什么作用呢?比如保留30天,好像只是排错使用

建议不断测试,不断调整参数至最优状态。

逐步按实际情况调整