apachekafka-Flink自定义分区器示例


0

我尝试处理的用例如下:

    我们有来自 Kafka 的数据流

例如:

    让我们假设所有消息都是字节 array,它们代表编码的数据。

问题:

    自定义分区程序是否会对此有所帮助?

1 答案


0

自定义分区程序可能会有所帮助,但对于您的情况则不是必需的。

您只需从消息中提取分组值并将其用作分组 key。因此,在源读取数据之后,如果您想保留原始消息,您可以使用 map来提取数据类型为byte[]->Tuple2的值(如Record->(groupingValue,Record))。然后,可以使用.keyBy(0)并在其上应用任何运算符。keyBy确保Tuple2的第一个字段中具有相同值的所有记录都由同一个运算符处理。


我来回答

写文章

提问题

面试题