为 local存储提供 persist性存储(EBS)的EKS


0

如果我在 local商店使用EBS卷,是否需要考虑特殊处理?

更清楚地说,假设我在由EBS volume for local store(RockDB)和带有S3的 checkpoints机制支持的AWS EKS中运行1个 job管理器和5个任务管理器(每个实例1个任务管理器),并且其中一个任务管理器实例由于某种原因重新启动(称此实例为X),现在一个新节点加入(称此实例为Y)和 local存储从S3检索。现在,假设新节点(node Y)从EKS离开,node X加入Flink集群,在这种情况下会发生什么?由于节点X已经有 persist状态(但是是旧状态),flink是否会删除旧状态并从S3下载最近的状态? Flink内部是怎么处理的?

在 local商店使用EBS卷有什么陷阱吗?

1 答案


0

首先,使用 localSSD比EBS卷更好。EBS通过网络 join到实例,这使得RocksDB local状态访问与其他网络活动竞争。 local固态硬盘性能更好,而且它们是短暂的并不重要。

如果配置 local恢复,则任何幸存的节点都将使用其 local状态,而不是从S3获取最新快照,而任何新节点都将从S3检索其状态。如果X是集群的前成员,在被放逐一段时间后重新加入,它将删除它所拥有的任何状态,并从S3获取所需的状态。


我来回答

写文章

提问题

面试题