如何使用时间窗口清除在无限流中过滤出重复项?我没有无限的空间/内存,我知道在2秒之后(在 local时钟上),任何可能发生的复制都会发生。这意味着2秒钟后我可以扔掉(清除)旧数据。
使用时间窗口清除过滤无限流上的重复项。
在这个问题中,我得到了一个很好的答案:apacheflink0.10如何从一个无界的输入数据流中第一次出现一个复合密钥?
但我不知道如何告诉 Flink在2秒后(当地时间)扔掉旧数据。
我怎么能用 Flink0.10呢?
多谢!!!
以下是删除重复项但不清除的语句:
input.keyBy(0, 1).flatMap(new DuplicateFilter()).print();
如果我加上时间窗(时间.分钟(1), 时间.秒(30)),在keyBy(0,1)之后是不可编译的。