Tispark structured streaming 窗口统计问题:window(collectime, "60 minutes", "5 minutes")。我的本意是一个小时窗口,滑动窗口是5分钟,structured streaming统计时会准点:10:05,10:10,10:15这样5的整数分钟进行滑动窗口统计吗

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0
  • 【问题描述】:Tispark structured streaming 窗口统计问题:window(collectime, “60 minutes”, “5 minutes”)。我的本意是一个小时窗口,滑动窗口是5分钟,structured streaming统计时会准点:10:05,10:10,10:15这样5的整数分钟进行滑动窗口统计吗

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

这样是每隔5分钟,统计60分钟的数据,不会按照准点的。

有什么办法按照准点呢

  1. 设置在准点时开始 streaming
  2. 用 65 分钟的窗口,过滤掉上一个准点前的数据