type
status
date
slug
summary
tags
category
icon
password
Mac上spark环境配置(离线安装)
配置环境信息：
- MacOS BIG SUR 11.2.1 (20D74)
- java-1.8 .0_291
- scala-2.12.8
- spark-2.4.8
- flink-1.12.4
注：采取其他版本不保证能安装成功，可能会出现JDK版本低等问题。
参考链接：
一、安装java 1.8
首先从官网(https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html)，下载dmg安装包，使用dmg的好处在于，不用自己配置java环境变量，安装完成后即可使用。
安装完成后，输入java -version，出现如下提示代表安装成功。
注：此版本的java不支持scala2.11，安装scala2.11会报错，报错信息如下：
二、安装scala 2.12.8
1、brew安装方式的不足
mac上安装scala可以使用brew进行安装，命令如下:
注：使用brew安装scala，会存在一些问题，本人遇到的问题是：brew安装的scala版本是jdk16版本的，不是jdk8版本的，安装的版本过高，后面安装完spark后，会报错。报错信息如下：
2、离线安装方式
首先从官网(https://www.scala-lang.org/download/scala2.html)下载scala 2.12.8。
进去后是最新版本的scala，需要点击下图中的previous releases。
然后选择Scala 2.12.8
进去后，拉到最下面，选择图中标注的版本进行下载。
首先，解压文件，移动到指定目录并重命名。
放置好了后，开始配置bash环境变量：
若安装了zsh，则其环境变量配置方法如下：
验证：安装完成后输入Scala命令，出现如下提示代表成功。
三、安装Spark
进入Spark官网(https://spark.apache.org/downloads.html)下载spark2.4.8
解压文件，移动到指定的位置并重命名。
上述步骤操作完后，开始进行环境变量配置。
1.对于原生终端，环境变量配置方式如下：
2.对于zsh终端，环境变量配置方式如下：
验证阶段
首先验证python3版本的spark，输入pyspark，出现如下界面，代表安装成功。
若是使用scala版本的spark，则可以输入spark-shell进行验证出现如下界面代表安装成功。
4、安装flink
进入网址(https://archive.apache.org/dist/flink/flink-1.12.4/)下载如图所示的flink版本。
下载完成后进行解压，移动到指定的位置并重命名。
进行环境变量的配置
输入flink —version查看版本号
输入start-cluster.sh启动进程，jps查看进程。
- Author:liamtech
- URL:https://liamtech.top/article/10f9746b-4e13-806b-a457-c09f12a12216
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!