flink streaming-ApacheFink0.10使用时间窗口清除在无限流上过滤重复项


0

如何使用时间窗口清除在无限流中过滤出重复项?我没有无限的空间/内存,我知道在2秒之后(在 local时钟上),任何可能发生的复制都会发生。这意味着2秒钟后我可以扔掉(清除)旧数据。

使用时间窗口清除过滤无限流上的重复项。

在这个问题中,我得到了一个很好的答案:apacheflink0.10如何从一个无界的输入数据流中第一次出现一个复合密钥?

但我不知道如何告诉 Flink在2秒后(当地时间)扔掉旧数据。

我怎么能用 Flink0.10呢?

多谢!!!

以下是删除重复项但不清除的语句:

input.keyBy(0, 1).flatMap(new DuplicateFilter()).print();

如果我加上时间窗(时间.分钟(1), 时间.秒(30)),在keyBy(0,1)之后是不可编译的。

1 答案


0

感谢Till-以下 chaining接更新了答案:

查看更新。


我来回答

写文章

提问题

面试题