我有多个flink job在一个独立的集群上运行。我需要不同的日志文件为不同的flink job 。那么,如何在提交flink job时传递不同的log4j.properties文件呢。

我有多个flink job在一个独立的集群上运行。我需要不同的日志文件为不同的flink job 。那么,如何在提交flink job时传递不同的log4j.properties文件呢。
到目前为止,还没有简单的方法可以做到这一点,因为flink总是在flink/conf下加载文件。
如果您使用flink的每个 job模式一个 Yarn 集群(即,使用以下命令启动脚本:flink run-m yarn cluster…),下面是一个解决方法:
root据您的flink版本,检查flink/bin文件/配置.sh。如果您的跑步经过这条线:
FLINK_CONF_DIR=$FLINK_ROOT_DIR_MANGLED/conf
更改为:
if [ -z "$FLINK_CONF_DIR" ]; then
FLINK_CONF_DIR=$FLINK_ROOT_DIR_MANGLED/conf;
fi
如果你找到另一种方法,请与我们分享。
root据Flink文档(最新版本),提交时只需传递log4j/logback文件即可使用, chaining接如下:
简而言之,您可以提供“-Dlog4j.configuration=/path/to/log4j.properties”或-Dlogback.configurationFile=/path/to/logback.xml”。您还可以为每个 job配置不同的记录器,这样就可以保留一个“logback”/“log4j”文件。下面是一个logback示例:
<!-- logback.xml -->
<configuration>
<property name="LOG_HOME" value="/path/to/logs" />
<appender name="JOB1"
class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${LOG_HOME}/job1/job.out</file>
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<Pattern>
%d{yyyy-MM-dd HH:mm:ss} - %msg%n
</Pattern>
</encoder>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- rollover hourly -->
<fileNamePattern>${LOG_HOME}/job1/%d{yyyyMMdd_HH}.%i.log</fileNamePattern>
<timeBasedFileNamingAndTriggeringPolicy
class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>1MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
</rollingPolicy>
</appender>
<logger name="com.yourcompany.job1" level="INFO" additivity="false">
<appender-ref ref="JOB1" />
</logger>
<!-- rest of configs -->
</configuration>
在您的代码中(例如Scala,它与Java基本相同):
import org.slf4j.LoggerFactory
private final val logger = LoggerFactory.getLogger("com.yourcompany.job1")
logger.info("some message")
干杯