hadoop集成hive

hadoop环境

hive与sqoop安装包

进入$HIVE_HOME/conf/修改文件cp  hive-default.xml.template  hive-site.xmlcp  hive-env.sh.template hive-env.sh修改$HIVE_HOME/bin的hive-env.sh，增加以下三行HADOOP_HOME=    --hadoop的home目录export HIVE_CONF_DIR=   --hive的conf目录                                                                                  export HIVE_AUX_JARS_PATH=   --hive的lib目录生效文件：source /hive-env.sh(生效文件)

修改$HIVE_HOME/conf/hive-site.xml javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456

修改$HIVE_HOME/conf/hive-site.xml(1)设定数据目录  hive.metastore.warehouse.dir /usr/local/hive/warehouse(2)设定临时文件目录 hive.exec.scratdir /usr/local/hive/tmp(3)hive相关日志的目录 hive.querylog.location /usr/local/hive/log

sqoop的安装与配置（1）下载、解压：tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz /rootcd /rootln -s sqoop-1.4.3.bin sqoop（2）配置sqoop：vi ~/.bash_profile export SQOOP_HOME=/usr/local/sqoopexport PATH=$SQOOP_HOME/bin:$PATH

测试环境：（1）测试连接数据库并列出数据库：sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 （2）将mysql中的表导入到hive中： sqoop import --connect jdbc:mysql://localhost:3306/gwifi --username root --password 123456 --table think_access --hive-import -m 1;

运行demo：

1.hive、sqoop中的mysql jar包要用比较新的，否则会在测试连接和执行hive QL的过程中报错

2.hive在配置hadoop结点的时，最好是先给结群中的主机取别名，引用别名的方式配置，防止IP变更导致环境的不稳定。