我正在学习和 evaluated spark和 Flink,然后选择其中一个项目,我得到了。
在我的 evaluated 中,我提出了以下几个简单的任务,我可以找出如何在这两个框架中实现它。
这么说吧
1-/我有一个事件流,这些事件只是关于数据库中某个项目已更改这一事实的信息。
2-/对于每个事件,我需要 query数据库以获取项的新版本
3-/应用一些 transformation
4-/ join到另一个数据库并写入结果。
我的问题如下:
使用Flink或Sparks,如何确保对dbs的调用被异步处理以避免线程不足?
我来自scala/Akka,在那里我们通常避免阻塞调用,并使用future的所有方法来处理这种情况。Akka stream允许流处理的精细细节级别,例如将流与外部服务集成。这样可以避免线程不足。当我在io操作中等待时,线程可以用于其他操作。
简而言之,我不知道如何在这两个框架中使用期货。
所以我相信这两个框架都可以重现。
有谁能 explain一下在火石或 spark中该怎么处理吗。
如果这不是开箱即用的支持,是否有人有将其整合到一起的经验。