如何在重启jobmanager时保留apache flink任务并提交记录


0

我用apache flink 1.10批量计算我的流数据,今天我把我的apache flink kubernetes(v1.15.2)pod从机器1移到机器2,发现所有提交任务记录和任务列表都消失了,怎么回事?最高纪录在 Memory 中?当重启apacheflink的kubernetes pod时,我应该如何保存提交记录和任务列表?我刚发现 checkpoints是 persist的,但与任务无关。

如果丢失了正在运行的任务历史记录,我必须上传我的任务jar并重新创建所有的任务,如果丢失了历史记录,那么有没有可能自动恢复任务?

1 答案


0

可能未设置的配置包括:

job 经理

jobmanager.archive.fs.dir: hdfs:///completed-jobs

历史服务器

# Monitor the following directories for completed jobs
historyserver.archive.fs.dir: hdfs:///completed-jobs

Refresh every 10 seconds

historyserver.archive.fs.refresh-interval: 10000

请查看更多详细信息:https://ci.apache.org/projects/flink/flink docs stable/monitoring/historyserver.html配置


我来回答

写文章

提问题

面试题