首页 > temp > 简明python教程 >
-
Linux中Hadoop的安装与配置
一、准备
1,配通网络 ping www.baidu.com
之前安装虚拟机时配过
2,关闭防火墙
systemctl stop firewalld
systemctl disable firewalld(开机自动关闭)
3,关闭 selinux
vi /etc/selinux/config
修改为selinux disabled
4,关闭 NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
5,修改计算机名 hadp01(根据个人喜好)
6,配置yum源
安装 yum install wget
做个备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
运行 yum makecache 生成缓存
7,备份,做个快照
二、Hadoop的安装与配置
1,下载hadoop
https://dist.apache.org/repos/dist/release/hadoop/common/
2,先创建几个目录
mkdir
/opt/install 上传
/opt/software 安装
/opt/other 其他
/opt/test 测试
a.上传 rz
解压 tar -zxvf jdk-8u181-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz
jdk:
cd /opt/install #进入安装包目录
rz jdk-8u181-linux-x64.tar.gz #上传JDK
tar -zxvf jdk-8u181-linux-x64.tar.gz #解压JDK
mv jdk1.8.0_181 ../software/jdk1.8 #移动到/opt/software目录
Hadoop:
cd /opt/installed #进入/opt/installed目录
rz hadoop-2.7.7.tar.gz #上传hadoop2.7.7版本
mv hadoop-2.7.7.tar.gz ../software/hadoop-2.7.7 #移动到software目录
b.移动到安装目录中software mv jdk1.8 ../software
mv hadoop-2.7.7 ../software
c.配置环境变量
vim /etc/profile #编辑环境变量
JAVA_HOME=/opt/software/jdk1.8
HADOOP_HOME=opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin
source /etc/profile #使环境变量生效
测试 是否配置成功 echo $PATH
3,伪分布式
A,修改主机名 vim /etc/hostname #编辑主机名文件
hadp01
B,修改主机映射
vim /etc/hosts #编辑主机映射文件
192.168.1.63(IP) hadp01(主机名)
C,实现ssh免密码登录
ssh-keygen #生成密钥对
ssh-copy-id hdp01 #将公钥拷贝给本机
ssh-copy-id hdp02 #将公钥拷贝给其他机
再回车一下会出来一个图形就OK了,重启
D,修改/opt/software/hadoop-2.7.7/etc/hadoop目录内的一系列文件
1.hadoop-env.sh
cd /opt/software/hadoop-2.7.7 #进入hadoop-2.7.7目录
vim etc/hadoop/hadoop-env.sh #编辑配置文件hadoop-env.sh
export JAVA_HOME=/opt/software/jdk1.8 #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行
2.core-site.xml
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5.yarn-site.xml
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
E,修改slaves文件
vim etc/hadoop/slaves
将里面的localhost删除 改为hadp01
F,格式化文件系统
hadoop namenode -format
G,启动Hadoop
start-all.sh 全部启动
stop-all.sh 全部关闭
H,测试Hadoop
http://主机IP:port/
NameNode web工程 端口号:50070
DataNode web工程 端口号:50075
SecondaryNameNode web工程 端口号:50090
ResourceManager web工程 端口号:8088