简介#

及时流处理是有状态流处理的一种扩展，其中时间在计算中发挥一定作用。例如，在进行时间序列分析、基于特定时间段（通常称为窗口）进行聚合，或者在处理事件时事件发生的时间很关键等情况时，都会涉及到及时流处理。
在接下来的章节中，我们将重点介绍在使用 Flink 进行及时流处理应用开发时，需要考虑的一些主题。
返回顶部

时间概念：事件时间与处理时间#

在流处理程序中提及时间（例如定义窗口时），可以涉及不同的时间概念：

• 处理时间：处理时间指的是执行相应操作的机器的系统时间。

当一个流处理程序基于处理时间运行时，所有基于时间的操作（如时间窗口）将使用运行相应操作符的机器的系统时钟。一个按小时划分的处理时间窗口将包含在系统时钟显示整点之间到达特定操作符的所有记录。例如，如果一个应用程序在上午 9:15 开始运行，第一个按小时划分的处理时间窗口将包含上午 9:15 到 10:00 之间处理的事件，下一个窗口将包含上午 10:00 到 11:00 之间处理的事件，依此类推。
处理时间是最简单的时间概念，无需在流和机器之间进行协调。它能提供最佳性能和最低延迟。然而，在分布式和异步环境中，处理时间不具备确定性，因为它易受记录进入系统的速度（例如从消息队列进入）、记录在系统内操作符之间流动的速度以及中断（计划内或其他情况）的影响。

• 事件时间：事件时间是每个事件在其产生设备上发生的时间。这个时间通常在记录进入 Flink 之前就嵌入其中，并且可以从每条记录中提取出事件时间戳。在事件时间中，时间的推进取决于数据，而非任何物理时钟。基于事件时间的程序必须指定如何生成事件时间水印，这是一种在事件时间中标记时间推进的机制。这种水印机制将在后续章节中介绍。

在理想情况下，无论事件何时到达或其顺序如何，基于事件时间的处理都能产生完全一致且确定的结果。然而，除非已知事件按时间戳顺序到达，否则事件时间处理在等待乱序事件时会产生一定延迟。由于只能等待有限的时间，这就限制了基于事件时间的应用程序的确定性程度。
假设所有数据都已到达，即使处理乱序或迟到的事件，或者重新处理历史数据，基于事件时间的操作也会按预期执行，并产生正确且一致的结果。例如，一个按小时划分的事件时间窗口将包含所有携带的事件时间戳属于该小时的记录，无论它们到达的顺序如何，也无论它们何时被处理。（有关更多信息，请参阅 “延迟” 部分。）
请注意，有时基于事件时间的程序在实时处理实时数据时，会使用一些基于处理时间的操作，以确保它们能够及时推进。
事件时间与处理时间

事件时间与水印#

注意：Flink 实现了数据流模型中的许多技术。若要深入了解事件时间和水印，可查看以下文章。

• Tyler Akidau 的《Streaming 101》
• 《数据流模型》论文

一个支持事件时间的流处理器需要一种方式来衡量事件时间的推进。例如，一个构建按小时划分窗口的窗口操作符，需要在事件时间超过一小时结束时得到通知，以便该操作符能够关闭正在处理的窗口。
事件时间可以独立于处理时间（由物理时钟测量）推进。例如，在一个程序中，某个操作符的当前事件时间可能略落后于处理时间（考虑到接收事件的延迟），但两者以相同速度推进。另一方面，另一个流处理程序可能通过快速处理已经缓冲在 Kafka 主题（或其他消息队列）中的一些历史数据，在仅几秒钟的处理时间内推进数周的事件时间。
Flink 中衡量事件时间推进的机制是水印。水印作为数据流的一部分流动，并携带一个时间戳 t。Watermark (t) 声明在该流中事件时间已到达时间 t，这意味着该流中不应再有时间戳 t’ <= t 的元素（即时间戳早于或等于水印的事件）。
下图展示了带有（逻辑）时间戳的事件流以及同步流动的水印。在这个例子中，事件是按（时间戳）顺序排列的，这意味着水印只是流中的周期性标记。
有序事件流和水印
水印对于乱序流至关重要，如下图所示，其中事件并非按时间戳排序。一般来说，水印表明在流中的那个点，所有到某个时间戳的事件都应该已经到达。一旦水印到达一个操作符，该操作符可以将其内部事件时间时钟推进到水印的值。
无序事件流和水印
请注意，新创建的流元素的事件时间继承自产生它们的事件，或者触发这些元素创建的水印。

并行流中的水印#

水印在源函数处或紧随源函数之后生成。源函数的每个并行子任务通常独立生成其水印。这些水印定义了该特定并行源的事件时间。
随着水印在流处理程序中流动，它们会推进水印到达的操作符处的事件时间。每当一个操作符推进其事件时间时，它会为下游的后续操作符生成一个新的水印。
有些操作符会消费多个输入流，例如 union 操作符，或者在 keyBy (…) 或 partition (…) 函数之后的操作符。这样的操作符的当前事件时间是其输入流事件时间的最小值。随着其输入流更新它们的事件时间，该操作符的事件时间也会更新。
下图展示了事件和水印在并行流中流动，以及操作符跟踪事件时间的示例。
并行数据流、操作符与事件和水印

延迟#

有可能某些元素会违反水印条件，即即使在 Watermark (t) 出现之后，仍会出现更多时间戳 t’ <= t 的元素。实际上，在许多实际场景中，某些元素可能会被任意延迟，使得无法指定一个时间，保证在该时间之前具有特定事件时间戳的所有元素都已到达。此外，即使延迟可以界定，将水印延迟太多通常也不可取，因为这会导致事件时间窗口的评估出现过多延迟。
因此，流处理程序可能会明确预期一些延迟元素。延迟元素是指在系统的事件时间时钟（由水印指示）已经超过延迟元素的时间戳之后才到达的元素。有关如何在事件时间窗口中处理延迟元素的更多信息，请参阅 “允许的延迟”。

窗口化#

对流中的事件进行聚合（例如计数、求和）与批处理中的方式不同。例如，不可能对流中的所有元素进行计数，因为流通常是无限的（无界的）。相反，对流的聚合（计数、求和等）是通过窗口来界定范围的，例如 “过去 5 分钟的计数” 或 “过去 100 个元素的求和”。
窗口可以由时间驱动（例如：每 30 秒）或由数据驱动（例如：每 100 个元素）。通常可以区分不同类型的窗口，例如滚动窗口（无重叠）、滑动窗口（有重叠）和会话窗口（由不活动间隙分隔）。
时间窗口和计数窗口
有关窗口的更多示例，请查看此博客文章，或者查看 DataStream API 的窗口文档。介绍一下Flink的时间概念如何在Flink中使用事件时间？Flink的窗口操作符有哪些？