tispark的版本也是2.4吗?
嗯,2.4版本
有的,
我们之前遇到类似的,是tidb集群和hive里有完全相同库名和相同表名的情况,是元数据混淆导致的。你可以确认是不是这个问题
很乱,只有这个感觉…
Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: tidb_rpt
.no_built_package_details
; line 2 pos 67;
tidb_rpt 和 no_built_package_details 是否逻辑上存在?
和 tidb 的账号和授权,是否对应?
表都是存在的
使用spark-sql执行一下show tables from tidb_rpt看看?
谢谢,今天看到tispark github官网,看到一句话
“”“ * Spark config spark.sql.runSQLOnFiles
should not be set to false
, or you may got Error in query: Table or view not found
error.”
问题应该和spark.sql.runSQLOnFiles 这个参数有关,我们稍后设置下试一试
我们设置成True后,今天早上还是报了org.apache.spark.sql.AnalysisException: Table or view not found: tidb_rpt
.upcar_monitor_carno
; line 17 pos 106;
建议直接用tiflash
show tables from tidb_rpt 这个语句的执行结果(记得使用spark-sql执行)能截图看看吗
我们的tiflash没有使用
同时也可以确认一下,未找到的那张表是否为视图
也可以考虑拉取源代码进行本地调试- -
是物理表,不是视图
这个报错偶尔出现,几天出现一次,不是每次必现的,不太好本地调试
show出来的结果有包含之前那张table not found的表吗?
tispark是将元数据信息保存在内存中的,内存中的数据和tidb中的数据有误差应该是正常的。重跑应该是可以解决问题的吧?