用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,需要将中间结果持久化写到HDFS。Tez可以将多个有依赖的作业转换为一个作业,这样只需写一次HDFS,且中间节点较少,从而大大提升作业的计算性能
方法/步骤
1
1、安装包准备1)下载tez的依赖包
2
2)拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/module目录
3
3)解压缩apache-tez-0.9.1-bin.tar.gz
4
4)修改名称
5
2、在Hive中配置Tez1)进入到Hive的配置目录:/opt/module/hive/conf
6
2)在hive-env.sh文件中添加tez环境变量配置和依赖包环境变量配置
7
添加如下配置
9
3、配置Tez1)在Hive的/opt/module/hive/conf下面创建一个tez-site.xml文件
10
添加如下内容
11
4、添加如下内容1)将/opt/module/tez-0.9.1上传到HDFS的/tez路径
12
5、测试1)启动Hive
13
2)创建LZO表
14
3)向表中插入数据
15
4)如果没有报错就表示成功了
上一篇:ps套索工具的应用
下一篇:Ps中的套索工具如何运用