当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop MultipleOutputs规定多文件名

发表于: 2014-09-18   作者:blackproof   来源:转载   浏览:
摘要: 在map或reduce中 1.初始化在configure或setup方法中 MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class); multipleOutputs = new MultipleOutputs(conf); &n

在map或reduce中

1.初始化在configure或setup方法中

MultipleOutputs.addMultiNamedOutput(conf, "prefix", TextOutputFormat.class, Text.class, Text.class);
multipleOutputs = new MultipleOutputs(conf);

 2.在mapper或reducer中

OutputCollector<NullWritable,Text> collector = multipleOutputs.getCollector("prefix-", "partition1", reporter);
		

 3.在close方法中

multipleOutputs.close();

 

 

这样这个reduce输出的文件名为prefix-partition1-00000

 

 

hadoop MultipleOutputs规定多文件名

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号