Table or view not found，表其实是存在的

TIDB救我狗命 · 2023 年10 月 30 日 02:24

tispark的版本也是2.4吗？

AeolusX · 2023 年10 月 30 日 02:48

嗯，2.4版本

AeolusX · 2023 年10 月 30 日 02:56

有的，

Jellybean · 2023 年10 月 30 日 03:01

我们之前遇到类似的，是tidb集群和hive里有完全相同库名和相同表名的情况，是元数据混淆导致的。你可以确认是不是这个问题

xfworld · 2023 年10 月 30 日 06:08

很乱，只有这个感觉…

Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: tidb_rpt .no_built_package_details ; line 2 pos 67;

tidb_rpt 和 no_built_package_details 是否逻辑上存在？

和 tidb 的账号和授权，是否对应？

AeolusX · 2023 年10 月 30 日 06:46

表都是存在的

TIDB救我狗命 · 2023 年10 月 31 日 02:12

使用spark-sql执行一下show tables from tidb_rpt看看？

AeolusX · 2023 年11 月 2 日 06:12

谢谢，今天看到tispark github官网，看到一句话
“”“ * Spark config spark.sql.runSQLOnFiles should not be set to false, or you may got Error in query: Table or view not found error.”
问题应该和spark.sql.runSQLOnFiles 这个参数有关，我们稍后设置下试一试

https://github.com/pingcap/tispark

TIDB救我狗命 · 2023 年11 月 3 日 01:58

程序里显式的指定了这个参数值么？如果没有显式指定这个值，spark.sql.runSQLOnFiles默认应该是true，不应该引发Table or view not found问题才对

AeolusX · 2023 年11 月 9 日 01:36

我们设置成True后，今天早上还是报了org.apache.spark.sql.AnalysisException: Table or view not found: tidb_rpt.upcar_monitor_carno; line 17 pos 106;

芮芮是产品 · 2023 年11 月 9 日 01:40

建议直接用tiflash

TIDB救我狗命 · 2023 年11 月 9 日 01:49

show tables from tidb_rpt 这个语句的执行结果(记得使用spark-sql执行)能截图看看吗

AeolusX · 2023 年11 月 9 日 02:24

我们的tiflash没有使用

TIDB救我狗命 · 2023 年11 月 9 日 02:54

同时也可以确认一下，未找到的那张表是否为视图

TIDB救我狗命 · 2023 年11 月 9 日 02:55

也可以考虑拉取源代码进行本地调试- -

AeolusX · 2023 年11 月 9 日 03:10

是物理表，不是视图

AeolusX · 2023 年11 月 9 日 03:11

这个报错偶尔出现，几天出现一次，不是每次必现的，不太好本地调试

AeolusX · 2023 年11 月 9 日 03:18

TIDB救我狗命 · 2023 年11 月 9 日 03:26

show出来的结果有包含之前那张table not found的表吗？

TIDB救我狗命 · 2023 年11 月 9 日 03:31

tispark是将元数据信息保存在内存中的，内存中的数据和tidb中的数据有误差应该是正常的。重跑应该是可以解决问题的吧？