pyspark-除了Spark发布包,我还需要安装其他东西吗?


0

似乎有两种安装Spark的方法。

    通过从下载预构建的Spark版本(例如Spark-2.4.5-bin-hadoop2.7.tgz)安装Spark时https://spark.apache.org/downloads.html,

谢谢。

1 答案


0

https://spark.apache.org/faq.html

我需要通过安装JRE来额外安装java命令吗?

是的,请参阅常见问题解答。

我需要通过安装JDK来额外安装java编译器javac吗?

不,我想不,但我总是用sdk。

我需要额外安装scala编译器吗?(我想没有,因为我看到下载的Spark版本包含./jar/scala-编译器.jar.)

我需要额外安装pyspark吗?(我想没有,因为我看到下载的Spark版本包含./bin/pyspark。)

当通过运行pip install pyspark安装Spark时,它是否已经为Java和Scala安装了Spark?

对。

tree .venv/lib/python3.6/site-packages/pyspark/bin
.venv/lib/python3.6/site-packages/pyspark/bin
├── beeline
├── beeline.cmd
├── docker-image-tool.sh
├── find-spark-home
├── find-spark-home.cmd
├── load-spark-env.cmd
├── load-spark-env.sh
├── pyspark
├── pyspark.cmd
├── pyspark2.cmd
├── run-example
├── run-example.cmd
├── spark-class
├── spark-class.cmd
├── spark-class2.cmd
├── spark-shell
├── spark-shell.cmd
├── spark-shell2.cmd
├── spark-sql
├── spark-sql.cmd
├── spark-sql2.cmd
├── spark-submit
├── spark-submit.cmd
├── spark-submit2.cmd
├── sparkR
├── sparkR.cmd
└── sparkR2.cmd
或者我需要另外安装一些东西才能在Java和Scala中编程Spark应用程序?

要在scala中编程,您需要安装scala来实际创建应用程序jar。

我认为使用下载的版本更容易迁移到集群中运行东西。


我来回答

写文章

提问题

面试题