介绍2种spark安装方式
通过docker的方式安装
下载docker文件
https://gitee.com/pingfanrenbiji/docker-spark docker-compose up
- 该docker-comose 编排了2个spark docker 一个是master 一个worker
- worker依赖于master
访问spark页面
http://localhost:8080/
通过源码方式安装
spark源码
https://gitee.com/pingfanrenbiji/spark
spark是基于scala语言开发的 所以需要安装stb环境 类似于maven、graddle jar包资源管理工具
先来一个简单的demo来安装下sbt环境
下载相关资源包
https://gitee.com/pingfanrenbiji/resource/tree/master/stb
sbt/conf/ 目录下有两个配置文件 sbtconfig.txt 仅适用于 Windows 平台 而 sbtopts 仅适用于 Mac/Linux 平台
配置sbt环境变量
#当前用户 vim ~/.bash_profile export SBT_HOME=/Users/mengfanxiao/Documents/third_software/spark/sbt export PATH=$PATH:$SBT_HOME/bin source ~/.bash_profile #所有用户 sudo vim /etc/profile source /etc/profile
Mac系统的环境变量 加载顺序为：/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc /etc/profile和/etc/paths是系统级别的，系统启动就会加载 后面几个是当前用户级的环境变量 后面3个按照从前往后的顺序读取 如果/.bash_profile文件存在，则后面的几个文件就会被忽略不读了 如果/.bash_profile文件不存在，才会以此类推读取后面的文件 ~/.bashrc没有上述规则，它是bash shell打开的时候载入的。
创建国内资源库配置
mkdir ~/.sbt vim ~/.sbt/repositories 文件内容： [repositories] local huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/ maven-central: https://repo1.maven.org/maven2/ sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
设置所有项目均使用全局仓库配置，忽略项目自身仓库配置
vim sbt/conf/sbtopts 添加一行 -Dsbt.override.build.repos=true
添加资源库配置
vim sbt/conf/sbtopts 添加一行 -Dsbt.repository.config=/Users/mengfanxiao/.sbt/repositories
运行hello-scala
demo源码下载下来
配置stb版本号1.3.0版本
由于SBT 1.3.0包含了多项性能提升，如果是已有的本地项目，请手动将项目的SBT构建版本改成1.3.0
vim project/build.properties sbt.version = 1.3.0
执行stb安装相关依赖并进入stb命令行
sbt
第一次进入 sbt shell 时，由于需要下载相关依赖，大概需要几十秒时间，第二次及以后进入 sbt shell 会很快
后记
既然学会了如何运行scala项目 那么下一篇咱们运行下spark看看
时候不早了 要去上班了哦 😄
