Flink或Sparks vs Akka溪流的无阻塞运行


0

我正在学习和 evaluated spark和 Flink,然后选择其中一个项目,我得到了。

在我的 evaluated 中,我提出了以下几个简单的任务,我可以找出如何在这两个框架中实现它。

这么说吧

1-/我有一个事件流,这些事件只是关于数据库中某个项目已更改这一事实的信息。

2-/对于每个事件,我需要 query数据库以获取项的新版本

3-/应用一些 transformation

4-/ join到另一个数据库并写入结果。

我的问题如下:

使用Flink或Sparks,如何确保对dbs的调用被异步处理以避免线程不足?

我来自scala/Akka,在那里我们通常避免阻塞调用,并使用future的所有方法来处理这种情况。Akka stream允许流处理的精细细节级别,例如将流与外部服务集成。这样可以避免线程不足。当我在io操作中等待时,线程可以用于其他操作。

简而言之,我不知道如何在这两个框架中使用期货。

所以我相信这两个框架都可以重现。

有谁能 explain一下在火石或 spark中该怎么处理吗。

如果这不是开箱即用的支持,是否有人有将其整合到一起的经验。

1 答案


0

从Flink的1.2.0版本开始,现在可以使用异步I/OAPI来实现这一点。


我来回答

写文章

提问题

面试题