在ApacheFlink中,在节点之间共享 DataSet 的最佳方式是什么?


0

我正在使用apacheflink处理数据流,我需要在处理输入数据的所有节点之间共享一个索引。索引经常被节点更新。

我想知道,从效率的角度来看,通过广播变量共享 DataSet 是一个好的做法吗?

每次更新后广播变量是否会在所有节点中更新?

apacheflink是否只为最近的更改智能地更新广播变量?

1 答案


0

我认为解决方案在于使用基于Flink托管状态描述符的有状态函数。如果状态不可分区,请将运算符的并行度设置为1。


我来回答

写文章

提问题

面试题