如何定期调度flink批处理


0

我有一个java应用程序,它对通过 query数据库中的表获得的批处理进行flink批处理,并将其输入kafka主题。我该如何定期安排。有flink调度器吗?例如,我的java应用程序应该在后台运行,flink调度器应该定期从数据库中 query表,然后flink批处理它并输入kafka(flink批处理和输入kafka已经是我应用程序的一部分了)。如果有人对此有意见,请帮忙。

1 答案


0

Flink不提供 job调度程序。

你考虑过用一个持续运行的Flink数据流应用程序来实现这个用例吗?您可以实现一个定期 query数据库的SourceFunction。

连续流式应用程序的优点是移动部件更少(无需调度程序,出错时无需故障处理)和跨越“批处理”边界的一致视图。缺点是 job总是消耗资源(Flink无法在低负载下自动缩小规模)。


我来回答

写文章

提问题

面试题