CentOS7搭建部署Ambari 2.6.2.0最新版(HDP-UTILS、HDP-GPL)大数据平台

青年夏日科技

已于 2022-04-30 19:45:37 修改

阅读量1.7k

点赞数 1

分类专栏：编程文章标签： ssh big data java python

于 2021-09-12 11:18:07 首次发布

本文链接： https://blog.csdn.net/sinat_28371057/article/details/120248435

版权

本文详细介绍了如何在CentOS7上搭建Ambari 2.6.2.0(HDP-UTILS、HDP-GPL)大数据平台，包括安装环境准备（主机名IP映射、SSH免密登录、关闭防火墙和SELinux、开启NTP服务、安装JDK），Ambari的安装（制作本地yum源、安装Mysql、配置Ambari）、后续操作（HDFS启用HA）。文章提供了每一步的配置截图和注意事项。

摘要由CSDN通过智能技术生成

如上述博客有任何错误或者疑问，请加VX：1755337994，及时告知！万分感激！

注：本文基于root用户操作

一、安装环境准备

操作系统 centos7.5
hdc-data1：192.168.163.51
hdc-data2：192.168.163.52
hdc-data3：192.168.163.53
【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】

1、主机名IP映射配置

FQDN：(Fully Qualified Domain Name)全限定域名：同时带有主机名和域名的名称。（通过符号“.”）
例如：主机名是bigserver,域名是mycompany.com,那么FQDN就是bigserver.mycompany.com。

vi /etc/hosts
#添加如下地址映射及FQDN（ambari注册时需要）
192.168.163.51 hdc-data1 hdc-data1.hadoop
192.168.163.52 hdc-data2 hdc-data2.hadoop
192.168.163.53 hdc-data3 hdc-data3.hadoop

2、SSH免密登录配置

ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data2
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data3

image.png

3、关闭及禁止防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

4、关闭SELinux

SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，是 Linux历史上最杰出的新安全子系统。NSA是在Linux社区的帮助下开发了一种访问控制体系，在这种访问控制体系的限制下，进程只能访问那些在他的任务中所需要文件。

vi /etc/sysconfig/selinux
#修改以下内容
SELINUX=disabled

image.png

5、开启NTP服务

yum install -y ntp
systemctl enable ntpd 
systemctl start ntpd

6、安装JDK

下载地址：https://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

通过文件传输上传到服务器，这里不可用wget直接下载。

mkdir -p /opt/java
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/
vi /etc/profile

export JAVA_HOME=/opt/java/jdk1.8.0_181
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

远程分发到其他服务器

scp -r /opt/java/jdk1.8.0_181/ root@hdc-data2:/opt/java/
scp -r /opt/java/jdk1.8.0_181/ root@hdc-data3:/opt/java/

scp /etc/profile root@hdc-data2:/etc/
scp /etc/profile root@hdc-data3:/etc/

source /etc/profile

二、Ambari安装

1、制作Ambari本地yum源

选取一台机器即可，在此选择hdc-data1。

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ch_obtaining-public-repos.html

image.png

image.png

image.png

需要下载资源安装包如下：

wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

1.1 安装 Apache HTTP 服务器

yum install httpd -y
#开启服务并设置开机自启动
systemctl start httpd.service
systemctl enable httpd.service

1.2 安装制作yum源工具

yum install yum-utils createrepo

1.3 创建http服务器

http根目录默认是即/var/www/html/

mkdir -p /var/www/html/ambari
#cd /var/www/html/ambari
#将下载好的安装包上传并解压
tar xvf HDP-2.6.5.0-centos7-rpm.tar.gz -C /var/www/html/ambari
tar xvf ambari-2.6.2.0-centos7.tar.gz -C /var/www/html/ambari
tar xvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/ambari
tar xvf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz -C /var/www/html/ambari

# 删除压缩包
rm -rf ambari-2.6.2.0-centos7.tar.gz
rm -rf HDP-2.6.5.0-centos7-rpm.tar.gz
rm -rf HDP-UTILS-1.1.0.22-centos7.tar.gz
rm -rf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

验证

image.png

1.4 配置ambari、HDP、HDP-UTILS的本地源

#yum install wget -y
cd /etc/yum.repos.d/
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo
wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo

编辑ambari.repo，修改baseurl和gpgkey

[root@hdc-data1 yum.repos.d]# vi ambari.repo 

#VERSION_NUMBER=2.6.2.0-155
[ambari-2.6.2.0]
name=ambari Version - ambari-2.6.2.0
#baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0
baseurl=http://192.168.163.51/ambari/ambari/centos7/2.6.2.0-155
gpgcheck=1
#gpgkey=ht