当前位置:首页 > 开发 > 互联网 > 正文

基于stream的mr程序可能出现的异常(不断更新)

发表于: 2012-09-11   作者:chenchao051   来源:转载   浏览次数:
摘要: 运行: Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar out_put_path=/userstat/cc/check cd /home/ppstat/hadoop bin/hadoop fs -test -e $out_put_path if [ $? -eq 0 ];th

运行:

Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar
out_put_path=/userstat/cc/check
cd /home/ppstat/hadoop

bin/hadoop fs -test -e $out_put_path
if [ $? -eq 0 ];then
    bin/hadoop fs -rmr $out_put_path
fi

bin/hadoop jar $Jar_path -Dmapred.reduce.tasks=40  -file /home/ppstat/cc/mr/CheckRepeatedRegMapper.py -mapper CheckRepeatedRegMapper.py -file /home/ppstat/cc/mr/CheckRepeatedRegReducer.py -reducer CheckRepeatedRegReducer.py -input /user/ppstat/userlog/logon/2012/09/* -output $out_put_path

 

全是粗心惹的祸,万一以后又不小心随手写错了,来这里看看,帮自己做个记录。

 

1、syntax error:unexpected end of file
文件是否从windows拷到linux?if fi是否结对出现?

 

2、PipeMapRed.waitOutputThreads(): subprocess failed with code 1
很有可能是程序出错,特别检查下是否有下标越界的情况。

python中 if后面 没有冒号(:)也会出现这样的情况

 

3、PipeMapRed.waitOutputThreads(): subprocess failed with code 2
mapper 和 reducer是否都只写了脚本名。此外尝试在程序最上面加上 #!/usr/bin/env python

 

4、出现打开jar错误之类的
请确认变量名是否有缺失 譬如从windows拷到linux 第一行的aaa=bbb很可能就缺失成a=bbb,那下面的$aaa自然也访问不到了

基于stream的mr程序可能出现的异常(不断更新)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
用一句简单的话语描述combiner组件作用:降低map任务输出,减少reduce任务数量,从而降低网络负载 工
最近虚拟机老出bug,又鉴于日后处理大数据时必定会用到集群,所以我缠着我们组现在已经研究到Scala
hadoop:hadoop2.2 ,windows myeclipse环境; Eclipse调用hadoop运行MR程序其实就是普通的java程序
hadoop:hadoop2.2 ,windows myeclipse环境; Eclipse调用hadoop运行MR程序其实就是普通的java程序
hadoop:hadoop2.2 ,windows myeclipse环境; Eclipse调用hadoop运行MR程序其实就是普通的java程序
系统Win7 IIS7.5 异常1.找不到具有绑定 NetTcpBinding 的终结点的与方案 net.tcp 匹配的基址。注册
<%@ page language="java" contentType="text/html; charset=gb2312" pageEncoding="gb2312"%>
Eclipse出现问题解决 1. 更新SDK版本后,打开Eclipse出现This Android SDK requires Android Develo
OK,您的好奇心是对的,这里我想说,基于storm这个实时流计算框架去做爬虫,简直太完美了! 大概就
环境: win7+eclipse+ ubuntu+hadoop 开始运行时报没有权限,只要把 hdfs的权限加大: hadoop dfs -c
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号