spark streaming怎么接入数据源?
暂时没有部署kafka和zookeeper,数据是由mybits同步过来的
tidb能直接当数据源接入到spark streaming吗
2 个赞
嗯,spark可以接入使用sql,sparkstreaming不支持sql:
输入DStreams表示从数据源获取的原始数据流。Spark Streaming拥有两类数据源
(1)基本源(Basic sources):这些源在StreamingContext API中直接可用。例如文件系统、套接字连接
Akka的actor等。
(2)高级源(Advanced sources):这些源包括Kafka,Flume,Kinesis,Twitter等等。
tidb有没有类似Kafka,Flume这种接口:
val flumeStream = FlumeUtils.createStream(streamingContext, [所选机器ip], [所选机器端口])
tidb有没有提供哪种?
1 个赞
不支持。 TiDB 可以通过 TiDB-Binlog 将数据同步到 Kafka,然后可以 接 spark streaming。
1 个赞
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。