Flink系列:事件Time时间乱序到达处理方法

 

到达时间无序

kafka的数据,不一定按照时间产生的时间到达flink,为了解决这个问题,需要引入Watermark

 

时间到达的3种情况

顺序到达

乱序到达

 

并发到达

 

Watermark

如果指定多个Watermark,后面的将覆盖前面的。

两种方法

 

基于时间周期(推荐)

周期性(默认100ms)生成和发送Watermark,定义一个最大允许乱序时间。

 

基于特定事件

如果发生特定事件,则生成和发送Watermark

 

 

使用方法

//指定事件时间类型
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
//指定Watermark
messageStream.filter(event->event.contains("")).assignTimestampsAndWatermarks(new TimeWatermark()) ;
  • 当watermark时间>=Event Time时,就符合了window触发的条件了(Event Time<watermark的事件被送入Window),最终决定window触发,还是由数据本身的Event Time所属的window中的window_end_time决定。
  • Watermark是一种消息延迟多少的方式。它定义了什么时候不再等待更早的数据(即假设不会再有时间小于水位线的事件到达),这个假设是触发窗口计算的基础,只有水位线越过窗口对应的结束时间,窗口才会关闭和进行计算。

 

举例说明

假如我们设置10s的时间窗口(window),那么0~10s,10~20s都是一个窗口,以0~10s为例,0为start-time,10为end-time。假如有4个数据的event-time分别是8(A),12.5(B),9(C),13.5(D),我们设置Watermarks为当前所有到达数据event-time的最大值减去延迟值3.5秒

当A到达的时候,Watermarks为max{8}-3.5=8-3.5 = 4.5 < 10,不会触发计算
当B到达的时候,Watermarks为max(12.5,8)-3.5=12.5-3.5 = 9 < 10,不会触发计算
当C到达的时候,Watermarks为max(12.5,8,9)-3.5=12.5-3.5 = 9 < 10,不会触发计算
当D到达的时候,Watermarks为max(13.5,12.5,8,9)-3.5=13.5-3.5 = 10 = 10,触发计算
触发计算的时候,会将A,C(因为他们都小于10)都计算进去,其中C是迟到的。

max这个很关键,就是当前窗口内,所有事件的最大事件。

这里的延迟3.5s是我们假设一个数据到达的时候,比他早3.5s的数据肯定也都到达了,这个是需要根据经验推算。假设加入D到达以后有到达了一个E,event-time=6,但是由于0~10的时间窗口已经开始计算了,所以E就丢了。

从这里上面E的丢失说明,水位线也不是万能的,但是如果根据我们自己的生产经验+侧道输出等方案,可以做到数据不丢失。

 


 

扩展

Flink系列:事件Time时间分类(指定事件时间)

Flink系列:事件时间乱序到达处理完整Demo例子

©️2020 CSDN 皮肤主题: 我行我“速” 设计师: Amelia_0503 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值