Spark 安装

安装环境

  • Fedora 29
  • openjdk version “1.8.0_191”

安装步骤

  1. 下载 Spark 安装包
  2. 解压 Spark 安装包 /opt/spark 目录
  3. 修改 Spark 配置
  4. 修改 PySpark 配置

下载 Spark 安装包

下载地址：http://spark.apache.org/downloads.html

解压 Spark 安装包 /opt/spark 目录

创建 /opt/spark 目录
bash
1
sudo mkdir -p /opt/spark
解压到 /opt/spark 目录
bash
1
2
3
cd /opt
sudo tar -zxvf ~/Downloads/spark-2.3.0-bin-hadoop2.7.tgz
sudo mv /opt/spark-2.3.0-bin-hadoop2.7 /opt/spark

修改 Spark 配置

修改 Spark 环境变量

bash
1
sudo vim ~/.bashrc

修改内容

text
1
2
3
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH
使环境变量生效
bash
1
source ~/.bashrc

安装 PySpark

bash
1
pip3 install pyspark

修改 PySpark 配置

修改 PySpark 环境变量
bash
1
sudo vim ~/.bashrc

修改内容

text
1
export PYSPARK_PYTHON=python3
使环境变量生效
bash
1
source ~/.bashrc