多语言展示
当前在线:1477今日阅读:155今日分享:35

Hive怎么样运行引擎Tez

用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,需要将中间结果持久化写到HDFS。Tez可以将多个有依赖的作业转换为一个作业,这样只需写一次HDFS,且中间节点较少,从而大大提升作业的计算性能
方法/步骤
1

1、安装包准备1)下载tez的依赖包

2

2)拷贝apache-tez-0.9.1-bin.tar.gz到hadoop102的/opt/module目录

3

3)解压缩apache-tez-0.9.1-bin.tar.gz

4

4)修改名称

5

2、在Hive中配置Tez1)进入到Hive的配置目录:/opt/module/hive/conf

6

2)在hive-env.sh文件中添加tez环境变量配置和依赖包环境变量配置

7

添加如下配置

9

3、配置Tez1)在Hive的/opt/module/hive/conf下面创建一个tez-site.xml文件

10

添加如下内容

11

4、添加如下内容1)将/opt/module/tez-0.9.1上传到HDFS的/tez路径

12

5、测试1)启动Hive

13

2)创建LZO表

14

3)向表中插入数据

15

4)如果没有报错就表示成功了

推荐信息