Spark任务运行失败,ApplicationMaster出现物理内存溢出异常

Spark任务运行失败,ApplicationMaster出现物理内存溢出异常

现象描述

在YARN上运行Spark任务失败,ApplicationMaster出现物理内存溢出异常。报错内容如下:

2016-05-12 19:27:18,078 | WARN  | Container Monitor | Container [pid=205193,containerID=container_1462240697997_3649_01_000001] is running beyond physical memory limits. Current usage: 4.5 GB of 4.5 GB physical memory used; 6.8 GB of 22.5 GB virtual memory used. Killing container.

可能原因

日志中显示“Killing container”,直接原因是物理内存使用超过了限定值,YARN的NodeManager监控到内存使用超过阈值,强制终止该container进程。

定位思路

无。

处理步骤

在Spark客户端“spark-defaults.conf”配置文件中增加如下参数,或者在提交命令时添加–conf指定如下参数,来增大memoryOverhead。

  • spark.yarn.driver.memoryOverhead:设置堆外内存大小(cluster模式使用)。
  • spark.yarn.am.memoryOverhead:设置堆外内存大小(client模式使用)。

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。更多免费资源在http://www.gitweixin.com/?p=2627

发表评论

邮箱地址不会被公开。 必填项已用*标注