java-Flink-structuring job以最大化吞吐量

我写这个答案是假设65个相同类型的主题中的每一个都包含相同类型的数据。

这个问题最简单的解决方案是更改Kafka设置，这样您就有4个主题，每个主题有65个分区。然后在程序中有4个数据源，具有高度并行性（65），这自然分布在集群中。

如果无法更改设置，我认为您可以做两件事：

一种可能的解决方案是创建flinkkafcumer的修改版本，其中一个源可以使用多个主题（而不是一个主题的多个分区）。有了这个改变，它的 job 方式就好像使用了许多分区，而不是许多主题。如果您想使用此解决方案，我将ping邮件列表以获取对此的支持。无论如何，这将是对Flink代码的一个有价值的补充。

我认为第一种选择更可取。