当前位置:首页 > 开发 > 开源软件 > 正文

【Hive六】Hive用户自定义函数(UDF)

发表于: 2015-03-10   作者:bit1129   来源:转载   浏览:
摘要: 1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: 文件格式:Text File,Sequence File 内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本:不管什么

1. 什么是Hive UDF

Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:

  • 文件格式:Text File,Sequence File
  • 内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text
  • 用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据
  • 用户自定义函数: Substr, Trim
  • 用户自定义聚合函数: Sum, Average
  • UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF

2. UDF用法

  • UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容
  • 自定义UDF需要继承org.apache.hadoop.hive.ql.UDF
  • 自定义的UDF需要实现UDF的evaluate方法
  • UDF的evaluate方法支持重载,即可以定义多个evaluate方法,这个方法参数列表与用户调用UDF函数时提供的方法参数一致即可

3.自定义函数UDF实现举例

 

 

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;
import org.apache.hadoop.hive.serde2.io.HiveDecimalWritable;

public abstract class UDFMath extends UDF {
  private final DoubleWritable doubleWritable = new DoubleWritable();

  public UDFMath() {
  }

  /**
   * For subclass to implement.
   */
  public abstract DoubleWritable evaluate(DoubleWritable a);

  /**
   * Convert HiveDecimal to a double and call evaluate() on it.
   */
  public final DoubleWritable evaluate(HiveDecimalWritable writable) {
    if (writable == null) {
      return null;
    }

    double d = writable.getHiveDecimal().bigDecimalValue().doubleValue();
    doubleWritable.set(d);
    return evaluate(doubleWritable);
  }

}

 

 

 

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.exec.vector.VectorizedExpressions;
import org.apache.hadoop.hive.ql.exec.vector.expressions.gen.FuncSinDoubleToDouble;
import org.apache.hadoop.hive.ql.exec.vector.expressions.gen.FuncSinLongToDouble;
import org.apache.hadoop.hive.serde2.io.DoubleWritable;
import org.apache.hadoop.hive.serde2.io.HiveDecimalWritable;

/**
 * UDFSin.
 *
 */
@Description(name = "sin",
    value = "_FUNC_(x) - returns the sine of x (x is in radians)",
    extended = "Example:\n "
    + "  > SELECT _FUNC_(0) FROM src LIMIT 1;\n" + "  0")
@VectorizedExpressions({FuncSinLongToDouble.class, FuncSinDoubleToDouble.class})
public class UDFSin extends UDFMath {
  private final DoubleWritable result = new DoubleWritable();

  public UDFSin() {
  }

  /**
   * Take Sine of a.
   */
  public DoubleWritable evaluate(DoubleWritable a) {
    if (a == null) {
      return null;
    } else {
      result.set(Math.sin(a.get()));
      return result;
    }
  }

}

 上面是自定义了一个求正玄的UDF函数

 

4. 如何使用自定义函数UDF

  • 把程序打包放到目标机器上去,进入hive客户端,添加jar包
hive>add  jar /user/hadoop/udf.math.sin.jar;

 

  • 创建临时函数:
hive>CREATE TEMPORARY FUNCTION math.sin AS 'org.apache.hadoop.hive.ql.udf.UDFSin';

 

  • 查询临时函数
SELECT math.sin(3.14) FROM word;

 

  •   销毁临时函数:
hive> DROP TEMPORARY FUNCTION math.sin;

 

5.  永久注册UDF到Hive

  • 找到以下文件: ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java
  • 添加新的注册函数myfunc
org.apache.hadoop.hive.ql.udf.UDFMath
org.apache.hadoop.hive.ql.udf.UDFSin

 

添加注册函数的语句

 

registerFunction("udf_math_sina", UDFSin.class)

 

 

 

 

 

 

 

 

【Hive六】Hive用户自定义函数(UDF)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
[Author]: kwu 1 、UDF自定义函数 自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function)
eclipse编写自定义hive udf函数 在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处
eclipse编写自定义hive udf函数 在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处
our project use hive 0.10 , and in the hiveql , we need use addMonths function builtin in hiv
1)hive UDF 最好不要定义构造函数,因为构造函数中的一些资源初始化工作(如读取外部资源),会导
永久自定义hive函数 1:做这件事的原因: 有一些函数是比较基础的,公用的,每次都要create tempora
[Author]: kwu UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-m
UDF的定义   和存储过程很相似,用户自定义函数也是一组有序的T-SQL语句,UDF被预先优化和编译并
相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省
10 Hive
主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号