apache flink-即使在PerJob部署模式下完成了 job执行,TaskManagers仍然处于运行状态


0

我正在使用docker compose尝试Flink Per Job deployment。

配置:

version: "2.2"
jobs:
  jobmanager: 
    build: ./
    image: flink_local:1.1
    ports:
      - "8081:8081"
    command: standalone-job --job-classname com.organization.BatchJob
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        parallelism.default: 2
  taskmanager:
    image: flink_local:1.1
    depends_on:
      - jobmanager
    command: taskmanager
    scale: 1
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 2
        parallelism.default: 2

Flink图像扩展为 job.jar, job已成功执行。

job完成后,JobManager已退出,但TaskManager仍在运行,这不是预期的。

必须添加任何配置才能退出JobManager和TaskManger?

版本:

燧石-1.11.0

Java-1.8版

1 答案


0

在这里找到与Flink团队的讨论。

简言之,在独立 job/手动启动的k8s集群等外部管理系统中,任务管理器必须显式终止,否则实例将在超时后终止。

在本机k8s部署中,taskmanager可以像预期的那样快速终止。


我来回答

写文章

提问题

面试题