【已结束】 TiDB 社区智慧合集，火热征集中，新款机械键盘等你拿！

[随缘天空 (Ti D Ber Ivw R7o Pj)]

【故障案例&解决方案】TICDC同步延迟/不同步,checkpointTs不推进/TICDC异常导致GC不工作/同步s3异常/任务全部stop/同步错误不报警

TICDC同步延迟/不同步,checkpointTs不推进/TICDC异常导致GC不工作/同步s3异常/任务全部stop/同步错误不报警——专栏文章

贡献者：@ seiang

TiCDC同步延迟问题处理

贡献者：@ bbhy135258

TiDB v5.1.2 - TiCDC 不同步，checkpointTs 不推进的问题排查

贡献者：@ 代晓磊_Mars

一场由TiCDC异常引发的GC不干活导致的Tikv硬盘使用问题

贡献者：@ jiyf

cdc 同步到 s3 的故障

贡献者：@ weixiaobing

迁移PD坑-cdc任务全部stop

贡献者：@ sustyle

cdc任务同步错误但不会触发告警问题记录

TICDC同步延迟/不同步,checkpointTs不推进/TICDC异常导致GC不工作/同步s3异常/任务全部stop/同步错误不报警——技术问答

6.5.1 ticdc 同步延迟优化

ticdc同步差距越来越大

Tidb4.0.11 cdc占用内存高导致oom

ticdc不同步了，checkpoint卡住不动

TiCDC 使用指南&资料大全

TICDC 迁移数据失败

TiCDC重建同步任务失败

tidb 5.2.1 ticdc 同步到kafka创建后 无报错 tso 和checkpoint 不推进

TiCDC双Sink同步增量备份到S3速度慢

TICDC 监控指标异常

TiCDC报错：[CDC:ErrSnapshotSchemaNotFound]schema 41766 not found in schema snapshot

TICDC同步延迟/不同步,checkpointTs不推进/任务全部stop/同步错误不报警——官方文档

为什么 TiCDC 到 Kafka 的同步任务延时越来越大？

TiCDC 故障处理

TiCDC 常见问题解答

TiCDC 集群监控报警规则

[tomxu (tom)]

向各位大佬学习～

[tidb狂热爱好者]

挺好的 谢谢老板。制作合集

[数据小黑]

【TiDB 社区智慧合集】TiSpark 知识大全

官方指南

https://docs.pingcap.com/zh/tidb/stable/tispark-overview

专栏文章

特性实践

贡献人： @ShawnYan

专栏 - TiDB 7.1.0 LTS 特性解读 | 浅析 TiSpark v3.x 新变化 | TiDB 社区

贡献人： @shiyuhang0

专栏 - EMR with TiSpark（on EKS ） | TiDB 社区

贡献人： @数据小黑

专栏 - TiSpark On Kubernetes实践 | TiDB 社区

贡献人： @ShawnYan

专栏 - TiSpark v2.5 开发入门实践及 TiSpark v3.0.0 新功能解读 | TiDB 社区

贡献人： @张鱼小丸子-PingCAP

专栏 - TiSpark 服务安装、部署及测试 | TiDB 社区

贡献人：@tracy0984

专栏 - TiDB+TiSpark部署--安装，扩缩容及升级操作 | TiDB 社区

源码解析

贡献人： @数据小黑

专栏 - TiSpark数据写入过程解析（源码解析） | TiDB 社区

知识问答

TiSpark 使用指南&资料大全🔥

[TiSpark 架构] 什么是 TiSpark 呢？ TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。它借助 Spark 平台，同时融合 TiKV 分布式集群的优势，和 TiDB 一起为用户一站式解决 HTAP (Hybrid Transactional/Analytical Processing) 的需求。 TiSpark 深度整合了 Spark Cat…

关于TiSpark的几种使用方式以及常见错误

几种使用方式 最近有好多小伙伴对使用TiSpark有一些疑问，现在对使用TiSpark写TiKV的使用demo举例如下，按照成熟程度（并不是按照写入效率）依次推荐，版本为TiSpark 3.0.0+Spark 3.0.X： 基础配置： SparkConf conf = new SparkConf() .set("spark.sql.extens…

tispark的兼容问题

【 TiDB 使用环境】测试 【 TiDB 版本】6.5.2 【复现路径】在本地创建了一个tidb集群（6.5.2），以及一个spark集群3.1.2，在用spark-shell的时候无法看到tidb集群的数据库，启动spark-shell的语句为 /bin/spark-shell --jars …/jars/mysql-connector-java-8.0.19.jar …/ja…

tispark, insert 受 spark.tispark.replica_read 参数影响

tispark insert 操作受参数 spark.tispark.replica_read 的影响， 在 spark-default.conf 中，设定 spark.tispark.replica_read follower 然后 spark-shell 中执行 insert 就会报错， [2023-07-24_153408] 如果把这行参数注释掉，就可以成功： [2023-07…

用cdh和zeppline开启kerberos,启用tispark读数据，通不过认证的问题

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决： 【TiDB 版本】 4.0 【问题描述】 CDH：6.3.2 zepplin:0.9.0 tispark 2.3.14 tidb:4.0 spark-submit --master yarn --deploy-mode cluster --principal jzyc/hadoop@JOIN.COM --keytab /h…

tispark 编译失败

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决： 【 TiDB 使用环境】 java version “1.8.0_202” mvn version: “4.19.91-25.1.al7.x86_64” tidb version: 5.3.0 spark version: spark-2.4.8-bin-hadoop2.7 tispark version: tispar…

TiSpark支持IPv6吗

为提高效率，请提供以下信息，问题描述清晰能够更快得到解决： 【概述】 独立IPv6网络，部署TiDB和TiSpark TiDB和TiSpark支持IPv6吗

TiSpark 批量写入TiDB，pyspark可否批量写入TiDB

成功官方例子： 以下通过 scala API 演示如何使用 TiSpark 批量写入： // 选择需要写入的数据 val df = spark.sql("select * from tpch.ORDERS") // 将数据写入 tidb df.write. format("tidb"). option("tidb.addr", "127.0.0.1"). option("tidb…

ANTLR Tool version 4.8 used for code generation does not match the current runtime version 4.7.1

【 TiDB 使用环境`】测试环境 1、PD：192.168.3.221/222/223:2379 2、TiDB：192.168.3.221/222/223:4000 3、TiKV：192.168.3.224/225/226 4、Haproxy：192.168.3.221:13390 5、Spark：Master（192.168.3.227:7077）、Worker（192.168.3…

[BUG] tispark 3.x版本读取tikv时，读取并发比2.5版本少，速度也慢

【 TiDB 使用环境】生产环境 【 TiDB 版本】v5.4.2 【遇到的问题】spark version: 3.x (spark 3的任意版本), tispark version : 3.x （tispark 3的任意版本） 【问题现象及影响】 table 信息： [image] spark 配置： [image] tispark 2.5版本： [image] ti…

使用TiSpark批量写入，集群不可用

描述：使用TiSpark跑批时，在进行写入时集群延迟大，导致集群不可用。 版本：TiSpark 2.3.13 、TiDB 5.2.4版本、Spark版本2.4.7 说明：spark load数据时，延迟略高，在写入时明显增大 [image] [image] 请问什么原因呢，参数配置问题还是TiSpark版本问题

tispark的spark配置问题

❯ cat /etc/apache-spark/spark-defaults.conf spark.sql.extensions org.apache.spark.sql.TiExtensions spark.tispark.pd.addresses 127.0.0.1:2379 spark.sql.catalog.tidb_catalog org.apache.spark.sql.catalys…

[TiDBer_DG8Cj0qj]

最近在处理这个，很有用

[Tom_wu (Ti D Ber 6 F Eiq R De)]

向大佬致敬

[cassblanca]

向先辈致敬

[普罗米修斯]

【故障案例&解决方案】读写热点问题

读写热点问题——专栏文章

贡献者：@张鱼小丸子-PingCAP
TiDB 热点问题详解
贡献者：@张鱼小丸子-PingCAP
TiDB 常见问题处理 - 热点
贡献者：@张鱼小丸子-PingCAP
如何分析和解决 TiDB 4.0 的写热点问题
贡献者：@张鱼小丸子-PingCAP
【TiDB 4.0 新特性前瞻】DBA 减负捷径：拍个 CT 诊断集群热点问题
贡献者：@navyaijm2017
TiDB 热点问题定位
贡献者：@mydb
一次热点问题排查经历
贡献者：@mydb
内容主数据 TiDB 集群写入热点优化实践
贡献者：@alexshen
以TiDB热点问题来谈Region的调度流程

读写热点问题——官方文档

TiDB 热点问题处理
TiDB Dashboard 流量可视化页面
TiDB 高并发写入场景最佳实践
如何避免热点问题并实现负载均衡？TiDB 中是否有热分区或热范围问题？
热点调度可配置化
TiDB 磁盘 I/O 过高的处理办法

读写热点问题——技术问答

写入热点问题确认
tikv 热点算法问题 和 k8s 默认CPU计算
二级索引写入热点的问题
热点打散方法
tidb dashborad流量图 热点是已经drop的表
新版本热点表缓存问题
读热点为什么在一个tikv节点上，没有均摊到其他tikv节点上去
小表热点问题优化
新表做了热点打散，但是leader region还是集中在一个节点。无法避免热点问题。
mysql迁移到Tidb，为解决热点问题，修改自增主键为随机主键，会遇到什么坑吗？
自增主键打散热点
Hot Read Region Leader分布不均匀，导致TiKV CPU Load负载严重倾斜
热点region是通过什么指标统计的

[沧浪之水]

真好，省了大量时间(◍＞◡＜◍)