搭建Spark开发环境
一、Spark开发环境准备工作
-
由于Spark仅仅是一种计算框架,不负责数据的存储和管理,因此,通常都会将Spark和Hadoop进行统一部署,由Hadoop中的HDFS、HBase等组件负责数据的存储管理,Spark负责数据计算。
-
安装Spark集群前,需要安装Hadoop环境
二、了解Spark的部署模式
(一)Standalone模式
- Standalone模式被称为集群单机模式。该模式下,Spark集群架构为主从模式,即一台Master节点与多台Slave节点,Slave节点启动的进程名称为Worker,存在单点故障的问题。
(二)Mesos模式
- Mesos模式被称为Spark on Mesos模式。Mesos是一款资源调度管理系统,为Spark提供服务,由于Spark与Mesos存在密切的关系,因此在设计Spark框架时充分考虑到对Mesos的集成。
(三)Yarn模式
- Yarn模式被称为Spark on Yarn模式,即把Spark作为一个客户端,将作业提交给Yarn服务。由于在生产环境中,很多时候都要与Hadoop使用同一个集群,因此采用Yarn来管理资源调度,可以提高资源利用率。
三、搭建Spark单机版环境
(一)前提是安装配置好了JDK
查看JDK版本
(二)下载、安装与配置Spark
1、下载Spark安装包
官网下载页面: Downloads | Apache Spark https://spark.apache.org/downloads.html
下载链接: Apache DownloadsHome page of The Apache Software Foundationhttps://www.apache.org/dyn/closer.lua/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz
2、将Spark安装包上传到虚拟机
- 将Spark安装包上传到ied虚拟机
/opt
目录
3、将Spark安装包解压到指定目录
-
执行命令:
tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local
-
查看解压之后的spark目录
4、配置Spark环境变量
- 执行
vim /etc/profile
export SPARK_HOME=/usr/local/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
存盘退出,执行命令:source /etc/profile
,让环境配置生效
(三)使用Spark单机版环境
1、使用Scala版本Spark-Shell
- Spark-Shell是一个强大的交互式数据分析工具,初学者可以很好的使用它来学习相关API,用户可以在命令行下使用Scala编写Spark程序,并且每当输入一条语句,Spark-Shell就会立即执行语句并返回结果,这就是我们所说的REPL(Read-Eval-Print Loop,交互式解释器),Spark-Shell支持Scala和Python
- 命令格式:spark-shell --master
<master-url>
--master
表示指定当前连接的Master节点<master-url>
用于指定Spark的运行模式
执行spark-shell
命令,相当于执行spark-shell --master local[*]
命令,启动Scala版的Spark-Shell访问Spark的Web UI界面 - http://ied:4040
计算1 + 2 + 3 + …… + 100
输出字符直角三角形
打印九九表
执行:quit
命令,退出Spark Shell交互式环境
3、使用Python版本Spark-Shell
- 执行
pyspark
命令启动Python版的Spark-Shell - 执行命令:
yum -y install python3、
- 执行命令:
pyspark
- 输出一条信息,进行加法运算,然后退出交互式环境
(二)Spark集群拓扑
1、前提条件:安装配置了分布式Hadoop环境
启动hadoop集群
访问Hadoop WebUI界面
(二)在master虚拟机上安装配置Spark
1、将spark安装包上传到master虚拟机
进入/opt
目录,查看上传的spark安装包
2、将spark安装包解压到指定目录
执行命令:tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local
3、配置spark环境变量
- 执行命令:
vim /etc/profile
export SPARK_HOME=/usr/local/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
存盘退出后,执行命令:source /etc/profile
,让配置生效
查看spark安装目录(bin
、sbin
和conf
三个目录很重要
4、编辑spark环境配置文件
- 进入spark配置目录后,执行命令:
cp spark-env.sh.template spark-env.sh
与vim spark-env.sh
添加三行语句
export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
存盘退出,执行命令:source spark-env.sh
,让配置生效
5、创建slaves文件,添加从节点
- 执行命令:
vim slaves
,添加两个从节点主机名
五)在slave1虚拟机上安装配置Spark
1、把master虚拟机上安装的spark分发给slave1虚拟机
- 执行命令:
scp -r $SPARK_HOME root@slave1:$SPARK_HOME
2、将master虚拟机上环境变量配置文件分发到slave1虚拟机
-
在master虚拟机上,执行命令:
scp /etc/profile root@slave1:/etc/profile
在slave1虚拟机上,执行命令:source /etc/profile
,让环境配置生效
3、在slave1虚拟机上让spark环境配置文件生效
- 在slave1虚拟机上,进入spark配置目录,执行命令:
source spark-env.sh
(六)在slave2虚拟机上安装配置Spark
1、把master虚拟机上安装的spark分发给slave2虚拟机
- 执行命令:
scp -r $SPARK_HOME root@slave2:$SPARK_HOME
2、将master虚拟机上环境变量配置文件分发到slave2虚拟机
-
在master虚拟机上,执行命令:
scp /etc/profile root@slave2:/etc/profile
-
在slave2虚拟机上,执行命令:
source /etc/profile
,让环境配置生效
3、在slave2虚拟机上让spark环境配置文件生效
- 在slave2虚拟机上,进入spark配置目录,执行命令:
source spark-env.sh
(七)启动Spark Standalone集群
Spark Standalone集群使用Spark自带的资源调度框架,但一般我们把数据保存在HDFS上,用HDFS做数据持久化,所以Hadoop还是需要配置,但是可以只配置HDFS相关的,而Hadoop YARN不需要配置。启动Spark Standalone集群,不需要启动YARN服务,因为Spark会使用自带的资源调度框架。
1、启动hadoop的dfs服务
- 在master虚拟机上执行命令:
start-dfs.sh
2、启动Spark集群
-
执行命令:
start-all.sh
-
查看
start-all.sh
的源码启动Master与Worker的命令# Start Master "${SPARK_HOME}/sbin"/start-master.sh # Start Worker s"${SPARK_HOME}/sbin"/start-slaves.sh
-
可以看到,当执行start-all.sh命令时,会分别执行start-master.sh命令启动Master,执行start-slaves.sh命令启动Worker。
-
注意,若
spark-evn.sh
中配置了SPARK_MASTER_HOST
属性,则必须在该属性指定的主机上启动Spark
集群,否则会启动不成功;若没有配置SPARK_MASTER_HOST
属性,则可以在任意节点上启动Spark
集群,当前执行启动命令的节点即为Master
节点 -
启动完毕后,分别在各节点执行
jps
命令,查看启动的进程。若在master节点存在Master进程,slave1节点存在Worker进程,slave2节点存在Worker进程,则说明集群启动成功 -
查看master节点进程
-
查看slave1节点进程
-
查看slave2节点进程
(八)访问Spark的WebUI
-
在浏览器里访问
http://master:8080
-
在浏览器访问
http://slave1:8081
-
在浏览器访问
http://slave2:8081
(九)启动Scala版Spark Shell
-
执行命令:
spark-shell --master spark://master:7077
(注意--master
,两个-
不能少) -
在
/opt
目录里执行命令:vim test.txt
-
在HDFS上创建
park
目录,将test.txt
上传到HDFS的/park
目录 -
读取HDFS上的文件,创建RDD,执行命令:val rdd = sc.textFile("hdfs://master:9000/park/test.txt")(说明:val rdd = sc.textFile("/park/test.txt")读取的依然是HDFS上的文件,绝对不是本地文件)
-
收集rdd的数据,执行命令:
rdd.collect
-
进行词频统计,按单词个数降序排列,执行命令:val wordcount = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).sortBy(_._2, false)与`wordcount.collect.foreach(println)
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN月度精选】榜单,全部的排名请看 https://bbs.csdn.net/topics/616346799。
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN月度精选】榜单,全部的排名请看 https://bbs.csdn.net/topics/616322614。
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN月度精选】榜单,全部的排名请看 https://bbs.csdn.net/topics/615647796。
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN一周精选】榜单,全部的排名请看 https://bbs.csdn.net/topics/615306568。
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天值得看】榜单,全部的排名请看 https://bbs.csdn.net/topics/615253013。