博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop执行Job时因超时自动kill原因及解决方案
阅读量:4111 次
发布时间:2019-05-25

本文共 496 字,大约阅读时间需要 1 分钟。

Hadoop执行Job时因超时自动kill,信息如下:

Task attempt_201305231045_3281_m_000003_0 failed to report status for 600 seconds. Killing!

原因:

1.执行MR的时间过长,超过了mapred.task.timeout中设置的值

2.MR执行中因业务比较复杂,没有report status从而使得master感觉不到此task的存在而kill

解决方案:

方案1修改mapred-site.xml:

mapred.task.timeout
600000
可以改的更长!

方案2根据业务需要手动set值:

conf.setLong("mapred.task.timeout", 900000L);

方案3定时report status

在Mapper或者Reducer的时候,执行复杂的业务操作的时候report status

context.progress();

 

转载地址:http://hcqsi.baihongyu.com/

你可能感兴趣的文章
拷贝构造函数
查看>>
二维数组指针
查看>>
实现只能动态分配或只能静态分配。
查看>>
STL删除迭代器
查看>>
比较器与类的成员函数(2019.10.22)
查看>>
树的确定与遍历
查看>>
红黑树的旋转
查看>>
快速排序优化
查看>>
allocator
查看>>
字符串匹配KMP算法
查看>>
TCP流量控制与拥塞控制
查看>>
指针数组
查看>>
大小端模式
查看>>
构造函数、析构函数 与抛出异常
查看>>
sizeof与strlen区别(2019.10.23)
查看>>
临界区
查看>>
构造函数、拷贝构造函数、赋值函数
查看>>
存储管理
查看>>
CSingleLock
查看>>
-128的补码
查看>>