Spark streaming怎么接入数据源

spark streaming怎么接入数据源?
暂时没有部署kafka和zookeeper,数据是由mybits同步过来的
tidb能直接当数据源接入到spark streaming吗

2 个赞

TiSpark 支持从 TiDB 直接读取数据
https://pingcap.com/docs-cn/v3.0/how-to/get-started/tispark/#tispark-快速入门指南

嗯,spark可以接入使用sql,sparkstreaming不支持sql:

输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源
(1)基本源(Basic sources):这些源在StreamingContext API中直接可用。例如文件系统、套接字连接
Akka的actor等。
(2)高级源(Advanced sources):这些源包括Kafka,Flume,Kinesis,Twitter等等。

tidb有没有类似Kafka,Flume这种接口:

val flumeStream = FlumeUtils.createStream(streamingContext, [所选机器ip], [所选机器端口])

tidb有没有提供哪种?

1 个赞

不支持。 TiDB 可以通过 TiDB-Binlog 将数据同步到 Kafka,然后可以 接 spark streaming。

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。