慕课网Spark大数据课程笔记-Hadoop2.6.0环境搭建

发表于 | 更新于 | 分类于 ， | 评论数：

系统准备

新建文件： /home/hadoop

  • software ：存放软件安装包
  • app : 存放软件目录
  • data ： 存放测试数据
  • source ： 存放软件源码：spark

下载Hadoop

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

下载版本：2.6.0-cdh5.7.0

1
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

配置环境和Hadoop

去官网 hadoop.apache.org 查看安装手册

  1. 安装JDK
1
2
export JAVA_HOME=[jdk]
export PATH=$JAVA_HOME/bin:$PATH
  1. 机器参数设置
1
2
3
4
5
6
7
8
9
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop001

vim /etc/hosts

127.0.0.1 localhost
[ip] hadoop001
  1. SSH免密码登录
1
2
ssh-keygen -t rsa
cp /root/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  1. 修改hadoop-env.sh
1
2
3
4
5
cd /root/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim hadoop-env.sh

修改
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
  1. 修改core-site.xml
1
2
cd /root/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim core-site.xml

添加

1
2
3
4
5
6
7
8
9
10
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/temp</value>
    </property>
</configuration>
  1. 修改hdfs-site.xml
1
2
cd /root/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vim hdfs-site.xml

添加

1
2
3
4
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

启动Hadoop

  1. 第一次启动：格式化HDFS
1
bin/hdfs namenode -format
  1. 启动HDFS
1
sbin/start-dfs.sh

验证Hadoop

在浏览器中输入IP:50070，如果能访问到Hadoop后端，则启动成功：