前几天讲了 linux 的安装,今天就来讲讲 hadoop 系统的安装。
创建 Hadoop 用户(此步骤非必须,创建新用户一般为了安全起见,但这里本来就是实验环境,所以我就没创建)
添加新用户
sudo useradd hadoop
设置密码
sudo passwd hadoop
添加管理员权限
sudo adduser hadoop sudo
切换到 hadoop 用户
su hadoop
更新
sudo apt update
sudo upgrade
配置 JAVA 环境
下载 (可以将下面的网址换成 JDK 下载界面 最新的版本)
wget 后面的 -O 为重命名下载文件,不是下载的 .tar.gz 的记得更换。http://XXXXXXXX 是下载链接 建议进官网自己获取一下,有可能这个会失效。
最新的 java11 已经有 deb/rpm 包下载,可以选择下载 deb/rpm 包,这样可以免去配置环境变量。ubuntu 选择 deb 包下载。
ubuntu deb 包安装就是 sudo dpkg -i jdk.deb
注意路径和文件名。选择的 deb 包安装的可以直接查看是否安装成功,然后进行下一步。
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" -O jdk.tar.gz http://download.oracle.com/otn-pub/java/jdk/11.0.1+13/90cf5d8f270a4347a95050320eef3fb7/jdk-11.0.1_linux-x64_bin.tar.gz
解压
sudo tar -zxf ./jdk.tar.gz -C /usr
查看解压后情况
cd /usr && ls
重命名目录 具体名称自己注意下
sudo mv jdk-11 jdk
配置环境变量
sudo nano /etc/environment
要添加的环境变量已经标注出来了。注意冒号和路径。
PS:这里已经将 hadoop 的环境变量加进去了,注意看一下。JAVA_HOME 是另起一行
使配置生效
source /etc/environment
查看是否安装成功
java -version
安装 Hadoop
可以从这个 网址 找到下载链接
下载(自行替换链接为最新版或者你想要下载的版本)
wget -O hadoop.tar.gz http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
解压
sudo tar -zxf ./hadoop.tar.gz -C /usr
查看解压情况
cd /usr && ls
重命名目录 文件夹名称自行替换
sudo mv hadoop-3.1.1 hadoop
配置 hadoop 环境
打开 hadoop-env.sh 文件(文件的位置根据版本的不同可能会有差异,找不到可以搜索一下)
nano /usr/hadoop/etc/hadoop/hadoop-env.sh
在文件的第一行添加以下内容
export JAVA_HOME=/usr/jdk
保存后试试 hadoop 是否能够运行
hadoop version