当前位置:首页 > 开发 > 开源软件 > 正文

hive 小记

发表于: 2015-06-02   作者:duguyiren3476   来源:转载   浏览:
摘要: hive 小记   hive hadoop hdfs   测试环境 centos6.5 64bit hadoop-2.5.2 hive-0.14 udf引入第三方lib包 将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PATH=&

hive 小记

 

hive hadoop hdfs

 

测试环境

  • centos6.5 64bit
  • hadoop-2.5.2
  • hive-0.14

udf引入第三方lib包

将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量:

    export HIVE_AUX_JARS_PATH="/usr/local/hivelib/"

即可

设置hive的任务名

hive (default)>set mapred.job.name =test_xxx; 

比较遗憾的是没有找到将hive的stage带入到任务名中

自定义udf函数加入到hive并指定函数名

在.hiverc文件中添加如下内容:

add jar /home/blueadmin/hivelib/hive_plugin-0.0.4-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION json_udtf AS 'com.hadoop.hive.udtf.JsonUDTF';

.hiverc文件可以在初始化时默认执行的hive设置放到.hiverc文件中,避免每次进入hive cli中要重新显式的声明

hive 小记

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号