spark检查点:错误java.io.FileNotFoundException异常


0

我有一个当前的管道,在那里我对我的 DataFrame 做了几个 transformation。

插入检查点以确保可接受的执行时间是很重要的。

但是,有时我会从任何检查点获取此错误:

Job aborted due to stage failure: Task creation failed: java.io.FileNotFoundException

No such file or directory: /checkpoints/...../rdd-1002/part-00003

你能建议一下吗。

1 答案


0

和这个问题类似吗?

executor失败后Spark无法在 HDFSS中找到检查点数据


我来回答

写文章

提问题

面试题