为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:3.0
- 【问题描述】:
tispark可不可以向hive3.0一样把kafka的topic当成一张外表来访问
为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
tispark可不可以向hive3.0一样把kafka的topic当成一张外表来访问
可以参考下spark访问kafka的官方文档
https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html
如果是streaming的话可以看这章: Creating a Kafka Source for Streaming Queries
如果是batch任务的话可以看这章: Creating a Kafka Source for Batch Queries
只要把kafka的数据注册成一个 DataFrame (df) 后,就可以使用sql的方式进行数据查询
另外可以参考下这个资料:https://jaceklaskowski.gitbooks.io/spark-structured-streaming/spark-sql-streaming-kafka-data-source.html
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。