tispark执行spark application的时候报错 Failed to init client for PD cluster

🛸 其他技术问题 TiSpark
23

嗯嗯，我再看看是不是ali做了限制，非常感谢。

确认一下，tispark是否能直接写tikv，要比tidb server快上很多？

24

另外请注意一下，刚才观察到你的 TiDB 集群版本是 v3.0.5，而TiSpark 的写入仅在 2.3.0-rc 开始支持，并且需要 TiDB 集群在 v3.0.14 以上。写入前记得先将 TiDB 集群升级到 v3.0.14以上。

1 个赞
25

嗯嗯，好的，我们准备升级到4.0.0 ga版

26

好的，写入速度主要视 Spark 集群及 TiKV 集群资源限制。若 TiDB 写入时瓶颈在 TiKV 侧，那么 TiSpark 写入是无法超越这个限制的。而如果瓶颈在 TiDB 侧（如 CPU 打满，这是常见情况），那么会有比较大的提升。

1 个赞
27

嗯嗯，好的谢谢。明白了

29

主要原因是目前maxcompute不支持外网访问。之后支持了在补充整合方式

30

好的，期待您的案例

31

spark版本：spark-2.3.0-odps0.32.2
是在2.3.0的基础上改的。
这个是不是就是魔改导致的不兼容：


17:21:10,383 INFO [main] StateStoreCoordinatorRef:54 - Registered StateStoreCoordinator endpoint
17:21:15,573 INFO [main] PDClient:289 - Switched to new leader: [leaderInfo: 192.168.10.26:2379]
17:21:18,344 INFO [main] ReflectionUtil$:175 - tispark class url: file:/C:/Users/zyp/.m2/repository/com/pingcap/tispark/tispark-core/2.2.0/tispark-core-2.2.0.jar
17:21:18,347 INFO [main] ReflectionUtil$:192 - spark wrapper class url: jar:file:/C:/Users/zyp/.m2/repository/com/pingcap/tispark/tispark-core/2.2.0/tispark-core-2.2.0.jar!/resources/spark-wrapper-spark-2.3/
17:21:18,355 INFO [Thread-1] SparkContext:54 - Invoking stop() from shutdown hook
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.sql.catalyst.catalog.TiCompositeSessionCatalog
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at com.pingcap.tispark.utils.ReflectionUtil$.newTiCompositeSessionCatalog(ReflectionUtil.scala:223)
	at org.apache.spark.sql.TiContext.tiCatalog$lzycompute(TiContext.scala:67)
	at org.apache.spark.sql.TiContext.tiCatalog(TiContext.scala:67)
	at org.apache.spark.sql.execution.command.TiCommand.tiCatalog(TiCommand.scala:30)
	at org.apache.spark.sql.execution.command.TiShowTablesCommand$$anonfun$1.apply(tables.scala:36)
	at org.apache.spark.sql.execution.command.TiShowTablesCommand$$anonfun$1.apply(tables.scala:36)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.execution.command.TiShowTablesCommand.run(tables.scala:36)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult$lzycompute(commands.scala:70)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult(commands.scala:68)
	at org.apache.spark.sql.execution.command.ExecutedCommandExec.executeCollect(commands.scala:79)
	at org.apache.spark.sql.Dataset$$anonfun$6.apply(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$$anonfun$6.apply(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$$anonfun$52.apply(Dataset.scala:3253)
	at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
	at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3252)
	at org.apache.spark.sql.Dataset.<init>(Dataset.scala:190)
	at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:75)
	at org.apache.spark.sql.SparkSession.sql(SparkSession.scala:638)
	at com.hydee.dataworks.SparkApplication$.main(SparkApplication.scala:28)
	at com.hydee.dataworks.SparkApplication.main(SparkApplication.scala)
17:21:18,364 INFO [Thread-1] AbstractConnector:318 - Stopped Spark@59fc684e{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
17:21:18,366 INFO [Thread-1] SparkUI:54 - Stopped Spark web UI at http://hydee-2545-zyp:4040
17:21:18,381 INFO [dispatcher-event-loop-3] MapOutputTrackerMasterEndpoint:54 - MapOutputTrackerMasterEndpoint stopped!
17:21:18,391 INFO [Thread-1] MemoryStore:54 - MemoryStore cleared
17:21:18,391 INFO [Thread-1] BlockManager:54 - BlockManager stopped
17:21:18,402 INFO [Thread-1] BlockManagerMaster:54 - BlockManagerMaster stopped
32

这个和上面的有关系吗？

33

请问这和之前讨论的是同一个问题吗？可以新开一个主题的。目前 tispark 的 release 版本还不支持 2.3.0，但我们很快会支持。

34

是同一个问题

35

这个回复不知可否回答的你的问题。

37

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。