斯帕克如何-提交.sh使用不同的模式和不同的集群管理器?


0

在Apache Spark中,Spark如何-提交.sh使用不同的模式和不同的集群管理器?明确地:

在 local部署模式下,

    有 spark吗-提交.sh跳过调用任何群集管理器?

在客户端或群集部署模式下,

    有 spark吗-提交.sh使用不同的集群管理器(Spark standalone、YARN、Mesos、Kubernetes)?不同的集群管理器有不同的接口吗-提交.sh必须以不同的方式调用它们?

谢谢。

1 答案


0

为了说明这一点,在任何模式下运行spark(客户机或集群,或者是否在 local模式下运行spark)时,绝对不需要指定任何集群管理器。集群管理器的存在只是为了使资源分配更简单和独立,但是使用与否始终是您的选择。

spark submit命令不需要集群管理器就可以运行。

使用该命令的不同方式有:

1) local模式:

./bin/spark-submit 
  --class org.apache.spark.examples.SparkPi 
  --master local[8] 
  /path/to/examples.jar 
  100

2) 不带资源管理器的客户端模式(也称为spark独立模式):

./bin/spark-submit 
  --class org.apache.spark.examples.SparkPi 
  --master spark://207.184.161.138:7077 
  --executor-memory 20G 
  --total-executor-cores 100 
  /path/to/examples.jar 
  1000

3) 带spark独立模式的群集模式:

./bin/spark-submit 
  --class org.apache.spark.examples.SparkPi 
  --master spark://207.184.161.138:7077 
  --deploy-mode cluster 
  --supervise 
  --executor-memory 20G 
  --total-executor-cores 100 
  /path/to/examples.jar 
  1000

4) 具有资源管理器的客户端/群集模式:

./bin/spark-submit 
  --class org.apache.spark.examples.SparkPi 
  --master yarn 
  --deploy-mode cluster   # can be client for client mode
  --executor-memory 20G 
  --num-executors 50 
  /path/to/examples.jar 
  1000

正如你在上面看到的, spark-提交.sh无论是否有群集管理器,都将以相同的方式运行。另外,如果您想使用像yarn、mesos这样的资源管理器,spark submit的行为将保持不变。


我来回答

写文章

提问题

面试题