使用spark streaming的时候历史数据怎么处理

🛸 其他技术问题 TiSpark
1

使用spark streaming的时候历史数据怎么处理
目前使用tidb binlog将增量数据发送到kafka，然后使用kafka将数据接入到spark streaming，历史数据怎么办？
数据是由线上mysql使用dm同步过来的。

2

历史数据需要做 job 全量捞一份的。

可以显示的指定 tso 号来配合后面的 streaming 的操作。

3

好的，谢谢

4

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。