当前位置:首页 > 开发 > 开源软件 > 正文

【Hive七】Hive用户自定义聚合函数(UDAF)

发表于: 2015-03-11   作者:bit1129   来源:转载   浏览:
摘要: 用户自定义聚合函数,用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么?   Double evaluate(Double a, Double b)  

用户自定义聚合函数,用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。

问题:UDF也可以提供输入多个参数然后输出一个结果的运算,比如加法运算add(3,5),add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么?

 

Double evaluate(Double a, Double b)

 

1.什么是UDAF

UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF。比如: Hive查询数据时,有些聚类函数在HQL没有自带,需要用户自定义实现; 用户自定义聚合函数: Sum, Average

 

2.实现UFAF的步骤

  • 引入如下两下类

 

import org.apache.hadoop.hive.ql.exec.UDAF
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator

 

  • 函数类需要继承UDAF类,计算类Evaluator实现UDAFEvaluator接口
  • Evaluator需要实现UDAFEvaluator的init、iterate、terminatePartial、merge、terminate这几个函数。

       a)init函数实现接口UDAFEvaluator的init函数。
       b)iterate接收传入的参数,并进行内部的迭代。其返回类型为boolean。
       c)terminatePartial无参数,其为iterate函数遍历结束后,返回遍历得到的数据,terminatePartial类似于 hadoop的Combiner。
       d)merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean。
       e)terminate返回最终的聚集函数结果。

 

3.实例

计算平均数

 

package hive.udaf;

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

public class Avg extends UDAF {
    public static class AvgState {
        private long mCount;
        private double mSum;

    }

    public static class AvgEvaluator implements UDAFEvaluator {
        AvgState state;

        public AvgEvaluator() {
            super();
            state = new AvgState();
            init();
        }

        /**
         * init函数类似于构造函数,用于UDAF的初始化
         */
        public void init() {
            state.mSum = 0;
            state.mCount = 0;
        }

        /**
         * iterate接收传入的参数,并进行内部的轮转。其返回类型为boolean * * @param o * @return
         */

        public boolean iterate(Double o) {
            if (o != null) {
                state.mSum += o;
                state.mCount++;
            }
            return true;
        }

        /**
         * terminatePartial无参数,其为iterate函数遍历结束后,返回轮转数据, * terminatePartial类似于hadoop的Combiner * * @return
         */

        public AvgState terminatePartial() {
            // combiner
            return state.mCount == 0 ? null : state;
        }

        /**
         * merge接收terminatePartial的返回结果,进行数据merge操作,其返回类型为boolean * * @param o * @return
         */

        public boolean merge(AvgState avgState) {
            if (avgState != null) {
                state.mCount += avgState.mCount;
                state.mSum += avgState.mSum;
            }
            return true;
        }

        /**
         * terminate返回最终的聚集函数结果 * * @return
         */
        public Double terminate() {
            return state.mCount == 0 ? null : Double.valueOf(state.mSum / state.mCount);
        }
    }
}
 

 

4. Hive中使用UDAF

  • 将java文件编译成udaf_avg.jar
  • 进入hive客户端添加jar包
hive>add jar /home/hadoop/udaf_avg.jar

 

  • 创建临时函数
hive>create temporary function udaf_avg 'hive.udaf.Avg'

 

  • 查询语句
hive>select udaf_avg(people.age) from people

 

  • 销毁临时函数
hive>drop temporary function udaf_avg
 

 

5. 总结

通过上面的介绍,可以看到UDAF的用法与UDF的区别了,UDF虽然可以接收多个入参,但是参数个数是固定的(其实也可以不固定,只要evaluate方法的参数类型是变长参数即可,但是一般不这么用),而UDAF的入参是元素个数不固定的集合,这个集合只要可遍历(使用Evaluator的iterate方法遍历)即可,上面的入参是people表的所有age列。

 

UDF是对只有单条记录的列进行的计算操作,而UDFA则是用户自定义的聚类函数,是基于表的所有记录进行的计算操作。

 

 

 

 

 

 

 

 

 

 

 

【Hive七】Hive用户自定义聚合函数(UDAF)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
java 程序 package com.ibeifeng.udaf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.a
永久自定义hive函数 1:做这件事的原因: 有一些函数是比较基础的,公用的,每次都要create tempora
[Author]: kwu 1 、UDF自定义函数 自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function)
[Author]: kwu UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-m
eclipse编写自定义hive udf函数 在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处
eclipse编写自定义hive udf函数 在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处
7 Hive
主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如
8 HIVE
HIVE 为什么要选择Hive 基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理
9 hive
hive的设计目的就是让精通sql的分析师能够在facebook存放在hdfs的大规模数据集上进行查询。 hive把s
开放环境,hadoop-0.20.2,hive-0.6 1.日志分隔符 2010-05-31 10:50:17|||61.132.4.82|||http://www.
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号