当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop MultipleOutputs规定多文件名

发表于: 2014-09-18   作者:blackproof   来源:转载   浏览次数:
摘要: 在map或reduce中 1.初始化在configure或setup方法中 MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class); multipleOutputs = new MultipleOutputs(conf); &n

在map或reduce中

1.初始化在configure或setup方法中

MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class);
multipleOutputs = new MultipleOutputs(conf);

 2.在mapper或reducer中

OutputCollector<NullWritable,Text> collector = multipleOutputs.getCollector("prefix-", "partition1", reporter);
		

 3.在close方法中

multipleOutputs.close();

 

 

这样这个reduce输出的文件名为prefix-partition1-00000

 

 

hadoop MultipleOutputs规定多文件名

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目
一般来说Map/Reduce都是输出一组文件,但是有些情况下需要我们输出多组文件,好比不同学校分成不同
最近考虑到这样一个需求: 需要把原始的日志文件用hadoop做清洗后,按业务线输出到不同的目录下去,
摘要:很多时候,我们都会遇到要给文件重新命名的情况。例如,音乐爱好者要把自己到处收集的MP3,按
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号