tispark可不可以向hive3.0一样把kafka的topic当成一张外表来访问

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0
  • 【问题描述】:

tispark可不可以向hive3.0一样把kafka的topic当成一张外表来访问

可以参考下spark访问kafka的官方文档

https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html

如果是streaming的话可以看这章: Creating a Kafka Source for Streaming Queries

如果是batch任务的话可以看这章: Creating a Kafka Source for Batch Queries

只要把kafka的数据注册成一个 DataFrame (df) 后,就可以使用sql的方式进行数据查询

另外可以参考下这个资料:https://jaceklaskowski.gitbooks.io/spark-structured-streaming/spark-sql-streaming-kafka-data-source.html