请问tispark和sparksql 之间的流程是什么 可以简单说明一下吗

🛸 其他技术问题 TiSpark
1

目前在用tikv-client作为kv层的查询组件 发现做mysql语法解析这一块做的不是很完美 有一部分函数没有实现 现在想通过自己实现 我看了下tispark的代码 能粗略的跟我说下 tispark和sparksql 之间的关系吗 没有资料 理解起来有些困难 谢谢了

2

TiSpark 的 SparkSQL 就是 Spark 的 SparkSQL。而这里的 MySQL 语法的文件仅仅是针对 Partition Expression 的。 我们的 Partition Expression 是通过 String 传过来的，因此需要一种语法器能够解析它，这才有了 MySQL 的语法文件。 简单来说， MySQL 的语法文件和 SparkSQL 没有任何关系。

这里 MySQL 的语法我们也将会改善——但仅限于分区表中会用到的，非常欢迎一起帮忙。如果有兴趣可以联系我的邮箱 birdstorm@pingcap.com 我们可以深入讨论一下。

3

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。