hadoop安装包
CentOS 7
xshell 工具
jdk 安装包
获取jdk,hadoop运行依赖jdk环境。所以我们需要安装jdk,获取jdk安装包步骤参考图示:
安装jdk,使用命令如下: 解压jdk安装包即可$ tar zxvf jdk-8u151-linux-i586.tar.gz -C /usr/local/
配置jdk环境变量,使用命令如下: $ vi /etc/profile 在末尾添加一下两行export JAVA_HOME=/usr/local/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATH 生效配置文件使用命令 $ source /etc/profile
安装ssh,使用命令如下: $ yum install -y openssh-server openssh-clients
获取hadoop安装包,访问hadoop官网,具体步骤如下:
安装hadoop,使用命令如下: 解压hadoop到/usr/local$ tar zxvf hadoop-2.10.0.tar.gz -C /usr/local/
配置hadoop环境变量 vi /etc/profile 添加两行export HADOOP_HOME=/usr/local/hadoop-2.10.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 使用以下命令,生效环境变量。$ source /etc/profile
配置hadoop,进入到hadoop的安装目录,编辑hadoop-env.sh 文件,配置JAVA_HOME环境变量,具体使用命令如下: 切换到hadoop目录cd /usr/local/hadoop-2.10.0/进入配置文件目录cd etc/hadoop/编辑hadoop-env.sh 文件vi hadoop-env.sh修改export JAVA_HOME 一行export JAVA_HOME=/usr/local/jdk1.8.0_151
运行hadoop的wordcount 程序,使用命令如下 创建一个测试文本,内容可以任意的英文单词$ vim ~/test.txt 切换目录$ cd /usr/local/hadoop-2.10.0/share/hadoop/mapreduce 测试$ hadoop jar hadoop-mapreduce-examples-2.10.0.jar wordcount ~/test.txt output
查看结果,使用命令 $ cd output$ cat part-r-00000