创建tiSession失败

依然idea · 2019 年10 月 24 日 07:08

【TiDB 版本】 2.1.6

【集群节点分布】 3台机器，每台机器部署1个tidb、1个pd、2个tikv、1个pump，第2台机器多部署1个drainer。

【spark版本】2.1.0

【问题描述】使用spark-shell创建tiSession失败，报错日志如下。请问如何解决？

CodeLess-PingCAP · 2019 年10 月 24 日 13:37

请检查 PD & TiKV 服务是否正常

依然idea · 2019 年10 月 25 日 00:22

直接连接tidb（非tispark）可以正常增删改查。

pd-ctl检查health显示都正常，如下图所示：

tikv日志没有明显异常，监控界面tikv板块无明显异常。

可否请教下如何准确判断tikv有无问题呢？

小王同学 · 2019 年10 月 25 日 03:08

可以使用 pd-ctl 查看 store 的相关信息。另外，这边是直接使用 spark 进行数据读取的吗？可以试一下 TiSpark

依然idea · 2019 年10 月 25 日 07:03

我用的就是TiSpark啊（tispark 1.1）。同样的方法，之前是能读取到TiDB数据的。

我的读取方法：

编辑/opt/hadoopclient/Spark2x/spark/conf/spark-defaults.conf，添加

spark.tispark.pd.addresses=192.168.100.60:2379,192.168.100.61:2379,192.168.100.62:2379

spark.sql.extensions=org.apache.spark.sql.TiExtensions

spark.tispark.plan.allow_index_read=true
将tispark-core-1.1-jar-with-dependencies.jar拷贝到/opt/hadoopclient/Spark2x/spark/jars/
启动spark-shell命令行：spark-shell --jars tispark-core-1.1-jar-with-dependencies.jar
import org,apache.spark.sql.{SparkSession, Row}

import org,apache.spark.sql.CarbonSession

import org,apache.spark.sql.TiContext
创建carbonSession（carbonsession可以认为就是sparksession，用于支持读取carbon格式数据）

val carbonSession = SparkSession.builder.getOrCreateCarbonSession(“hdfs路径”)
创建tiSession

val tiSession = new TiContext(carbonSesssion)