当前位置:首页 > 开发 > 开源软件 > 正文

hive 小记

发表于: 2015-06-02   作者:duguyiren3476   来源:转载   浏览次数:
摘要: hive 小记   hive hadoop hdfs   测试环境 centos6.5 64bit hadoop-2.5.2 hive-0.14 udf引入第三方lib包 将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PATH=&

hive 小记

 

hive hadoop hdfs

 

测试环境

  • centos6.5 64bit
  • hadoop-2.5.2
  • hive-0.14

udf引入第三方lib包

将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量:

    export HIVE_AUX_JARS_PATH="/usr/local/hivelib/"

即可

设置hive的任务名

hive (default)>set mapred.job.name =test_xxx; 

比较遗憾的是没有找到将hive的stage带入到任务名中

自定义udf函数加入到hive并指定函数名

在.hiverc文件中添加如下内容:

add jar /home/blueadmin/hivelib/hive_plugin-0.0.4-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION json_udtf AS 'com.hadoop.hive.udtf.JsonUDTF';

.hiverc文件可以在初始化时默认执行的hive设置放到.hiverc文件中,避免每次进入hive cli中要重新显式的声明

hive 小记

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
1 Hive
主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如
2 HIVE
HIVE 为什么要选择Hive 基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理
1. 什么是Hive,Hive是用来做什么的 Hive是Facebook开源的 以SQL查询的方式对日志等结构化数据进行
1. metastore [hadoop@hadoop bin]$ ./hive --service metastore Starting Hive Metastore Server
1. 什么是Hive,Hive是用来做什么的 Hive是Facebook开源的 以SQL查询的方式对日志等结构化数据进行
1. metastore [hadoop@hadoop bin]$ ./hive --service metastore Starting Hive Metastore Server
1. 什么是Hive,Hive是用来做什么的 Hive是Facebook开源的 以SQL查询的方式对日志等结构化数据进行
1. metastore [hadoop@hadoop bin]$ ./hive --service metastore Starting Hive Metastore Server
之前一个页面上用到UITextView用于输入留言,发现功能不够完善,今天加强了一下,主要有: 1.往IB里加的
编程难免有bug,一些隐蔽的bug往往让人比较烦恼,初学者更是如此,俺经过亲身经历,整理了一些debug的小
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号