scala-Flink和Kafka消费者不起作用


0

我想 test一下Spark和Flink,为此我做了几个 test。然而, Flink不能与 Kafka 合作,同时与 spark job 完美。

代码非常简单:

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")
properties.setProperty("group.id", "myGroup")
println("topic: "+args(0))
val stream = env.addSource(new FlinkKafkaConsumer09String, new SimpleStringSchema(), properties))
stream.print

env.execute()

我使用的kafka 0.9.0.0主题相同(在consumer[Flink]和producer[kafka console]),但是当我将jar发送到集群时,什么都没有发生:

簇状燧石

会发生什么?

2 答案


0

你的流式打印不会在flink的控制台中打印。它将写入flink0.9/logs/recentlog。另一种方法是,您可以添加自己的记录器来确认输出。


0

对于这种特殊情况(源 chaining接到 sink中),Webinterface永远不会报告发送/接收的字节/记录。请注意,这种情况在不久的将来会发生变化。

请检查 job-/taskmanager日志是否不包含任何输出。


我来回答

写文章

提问题

面试题