多语言展示
当前在线:1765今日阅读:26今日分享:39

centOS7怎么安装hadoop单机版

hadoop有三种安装模式,分别是单节点,伪分布式,全分布式。单节点和伪分布式均在一个主机即可运行,单节点的hadoop主要用于mapreduce程序测试等。
工具/原料
1

hadoop安装包

2

CentOS 7

3

xshell 工具

4

jdk 安装包

方法/步骤
1

获取jdk,hadoop运行依赖jdk环境。所以我们需要安装jdk,获取jdk安装包步骤参考图示:

2

安装jdk,使用命令如下: 解压jdk安装包即可$ tar zxvf jdk-8u151-linux-i586.tar.gz -C /usr/local/

3

配置jdk环境变量,使用命令如下: $ vi /etc/profile 在末尾添加一下两行export JAVA_HOME=/usr/local/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATH 生效配置文件使用命令 $ source /etc/profile

4

安装ssh,使用命令如下: $ yum install -y openssh-server openssh-clients

5

获取hadoop安装包,访问hadoop官网,具体步骤如下:

6

安装hadoop,使用命令如下: 解压hadoop到/usr/local$  tar zxvf hadoop-2.10.0.tar.gz -C /usr/local/

7

配置hadoop环境变量 vi /etc/profile  添加两行export HADOOP_HOME=/usr/local/hadoop-2.10.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 使用以下命令,生效环境变量。$ source /etc/profile

8

配置hadoop,进入到hadoop的安装目录,编辑hadoop-env.sh 文件,配置JAVA_HOME环境变量,具体使用命令如下: 切换到hadoop目录cd /usr/local/hadoop-2.10.0/进入配置文件目录cd etc/hadoop/编辑hadoop-env.sh 文件vi hadoop-env.sh修改export JAVA_HOME 一行export JAVA_HOME=/usr/local/jdk1.8.0_151

9

运行hadoop的wordcount 程序,使用命令如下 创建一个测试文本,内容可以任意的英文单词$ vim ~/test.txt 切换目录$ cd /usr/local/hadoop-2.10.0/share/hadoop/mapreduce 测试$ hadoop jar hadoop-mapreduce-examples-2.10.0.jar wordcount ~/test.txt output

10

查看结果,使用命令 $ cd output$ cat part-r-00000

推荐信息