tikv_gc_safe_point 一直不推进

wfxxh · 2023 年7 月 6 日 08:24

【 TiDB 使用环境】测试
【 TiDB 版本】v5.4.3

这个问题要如何排查

h5n1 · 2023 年7 月 6 日 08:26

pd-ctl service-gc-safepoint 看下

wfxxh · 2023 年7 月 6 日 08:30

看了，一页截不了，里面还有几个是tispark指定stale_read时加上的。

h5n1 · 2023 年7 月 6 日 08:37

这个导致的

wfxxh · 2023 年7 月 6 日 08:40

可以删吗？我在pd-ctl service-gc-safepoint中并没有找到删除的命令

h5n1 · 2023 年7 月 6 日 08:47

你看看有什么tispark的任务一直运行或不太正常，不能直接删，这是一些任务运行时为了保障需要的数据不被GC而设置的一个safepoint

wfxxh · 2023 年7 月 6 日 08:56

没有，都已经停掉了

h5n1 · 2023 年7 月 6 日 09:01

不太了解spark任务怎么弄？应该是你停任务时没能把pd里对应的safepoint信息给清理了，如果任务没用的话试试删除

wfxxh · 2023 年7 月 6 日 09:06

请教如何删除？我没有找到相关命令

h5n1 · 2023 年7 月 6 日 09:10

处理tispark的任务这个我也不太熟

h5n1 · 2023 年7 月 6 日 09:14

现在还有tispark节点吗

wfxxh · 2023 年7 月 6 日 09:15

我们是用的tispark jar包，没部署tispark。

h5n1 · 2023 年7 月 6 日 09:24

不知道spark的咋清理了，cdc时遇到这问题是用 tiup cdc:v5.1.0 cli --pd=<PD_ADDRESS> unsafe reset 这个命令来清理，我觉得可以尝试一下

wfxxh · 2023 年7 月 6 日 09:29

好的感谢

有猫万事足 · 2023 年7 月 6 日 09:34

我想多了解一下，做这个判断的依据是不是，最后的gc_safe_point 等于这个tispark的safe_point？

h5n1 · 2023 年7 月 6 日 09:41

是的。

有猫万事足 · 2023 年7 月 6 日 09:46

好的，非常感谢。

数据小黑 · 2023 年7 月 6 日 09:53

我印象有个监听，会在spark任务失败后，清除链接，你show processlist一下看看有没有值得怀疑的链接

wfxxh · 2023 年7 月 6 日 10:21

并没有

ShawnYan · 2023 年7 月 6 日 10:55

spark/tispark version 是？

tispark log 有什么输出？