当前位置:首页 > 开发 > 系统架构 > 架构 > 正文

hadoop 报错 org.apache.hadoop.mapred.TaskTracker: Process Thread Dump: lost task

发表于: 2013-10-13   作者:blackproof   来源:转载   浏览次数:
摘要: 项目最近报错,形如: org.apache.hadoop.mapred.TaskTracker: Process Thread Dump: lost task Thread 2958 (process reaper): State: RUNNABLE Blocked count: 0 Waited count: 0 Stack: java.lang

项目最近报错,形如:

org.apache.hadoop.mapred.TaskTracker: Process Thread Dump: lost task
Thread 2958 (process reaper):
   State: RUNNABLE
    Blocked count: 0
   Waited count: 0
   Stack:
     java.lang.UNIXProcess.waitForProcessExit(Native Method)
     java.lang.UNIXProcess.access$900(UNIXProcess.java:20)
     java.lang.UNIXProcess$1$1.run(UNIXProcess.java:132)
Thread 2957 (JVM Runner jvm_201005091721_0012_m_209736581 spawned.):
   State: WAITING
   Blocked count: 1
   Waited count: 2
   Waiting on [url=mailto:java.lang.UNIXProcess@874c04]java.lang.UNIXProcess@874c04[/url]
   Stack:
     java.lang.Object.wait(Native Method)
     java.lang.Object.wait(Object.java:485)
     java.lang.UNIXProcess.waitFor(UNIXProcess.java:165)
    org.apache.hadoop.util.Shell.runCommand(Shell.java:186)
    org.apache.hadoop.util.Shell.run(Shell.java:134)
    org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286)        org.apache.hadoop.mapred.JvmManager$JvmManagerForType$JvmRunner.runChild(JvmManager.java:335)   org.apache.hadoop.mapred.JvmManager$JvmManagerForType$JvmRunner.run(JvmManager.java:324)

 错误是因为tasktracker没有在timeout规定时间内返回心跳状态,所以jobtracker就认为这个tasktracker死了,需要检查代码是否有死循环,或是处理时间过长等等。默认的timeout是10分钟

 

解决方法:

1. 设置超时时间:mapred.task.timeout : 1800000 设置为30分钟

或是设置为0,则不检查超时,这需要有信息代码是绝对没问题的,不建议设置为0,因为每个tasktracker就是slaver上的一个child进程,要是放任不管,这个进程会一直存在

 

2. 自动返回tasktracker状态:

context.progress();

 

 

在项目中,发现代码出现死循环,是因为集群时间不同步,不断的出现请求elasticsearch出错,在昨晚时钟同步后,bug解决了

 

 

 

 

hadoop 报错 org.apache.hadoop.mapred.TaskTracker: Process Thread Dump: lost task

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Problem Description ================= We tried to use ADPlus to capture dump file. But the si
Java Thread &Memory Note http://sslaowan.iteye.com/blog/1450671 top -p pid -H see jvm thread
Java Thread &Memory Note http://sslaowan.iteye.com/blog/1450671 top -p pid -H see jvm thread
一.dump基本概念 在故障定位(尤其是out of memory)和性能分析的时候,经常会用到一些文件来帮助我们
一.dump基本概念 在故障定位(尤其是out of memory)和性能分析的时候,经常会用到一些文件来帮助我们
概述 jBPM 6 中 Process Variable 和 Task Variable 以及它们之间的关系如下图所示: 如上,Process
Hadoop的MapReduce的Map Task和Reduce Task都是进程级别的;而Spark Task则是基于线程模型的。 多进
Hadoop的MapReduce的Map Task和Reduce Task都是进程级别的;而Spark Task则是基于线程模型的。 多进
本文纯属个人见解,是对前面学习的总结,如有描述不正确的地方还请高手指正~ 1 错误 真机调试运行已
http://90haofang-163-com.iteye.com/blog/2096073 前段时间线上出了一次内存溢出的问题,对heap du
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号