CDH Yarn WebUI没有显示最近的FINISHED Applications

在跑spark任务时,CDH6.3.2的Yarn WebUI没有显示最近的FINISHED Applications,想查看已跑完的spark看不到,非常不方便。

CDH(Cloudera Distribution for Hadoop)是一个大数据处理平台,其中的YARN(Yet Another Resource Negotiator)是用于资源管理和任务调度的核心组件。您提到在YARN的WEBUI中,”FINISHED Applications”(已完成的应用程序)没有显示最新的记录。这可能由多种原因导致。

  1. 刷新问题: 有时候,Web界面可能由于不正确的缓存或其他问题而未能及时刷新,导致显示的信息不是最新的。
  2. 日志滚动策略: YARN的日志滚动策略可能会导致已完成的应用程序的日志被压缩或删除,从而影响了Web界面的展示。
  3. 数据清理策略: 可能在CDH配置中设置了数据清理策略,这可能会导致一些旧的已完成应用程序被自动清理,从而在Web界面中不再显示。

解决方案:

以下是一些可能的解决方案,您可以尝试进行排查和解决问题:

  1. 手动刷新界面: 首先尝试手动刷新Web界面,看看是否能够获取到最新的数据。有时候,简单的刷新就可以解决问题。
  2. 检查日志设置: 查看CDH集群中YARN的日志滚动和保留策略。您可以调整这些设置,确保日志文件得到正确保留并且不会被过早清理。
  3. 调整数据清理策略: 如果CDH集群中配置了自动数据清理策略,您可以考虑调整清理策略,以便保留更多的已完成应用程序数据。
  4. 查看日志和错误信息: 查看YARN的日志文件以及相关的错误信息,看看是否有任何与已完成应用程序信息显示相关的问题。
  5. 升级和修复: 如果问题仍然存在,可能需要考虑升级CDH版本或者应用程序,以获取更稳定的Web界面功能。
  6. 联系支持: 如果您尝试了以上方法仍无法解决问题,可以考虑联系CDH的技术支持团队寻求进一步帮助。

看了Yarn的配置,觉得都正常,重启了Yarn组件,重新跑任务
FINISHED Applications 有显示最新任务了。仔细查看原来是之前没有用倒序,默认是顺序排列,最新的没有显示在第一页。

关注公众号“大模型全栈程序员”回复“大数据面试”获取800页左右大数据面试宝典 ,回复“大数据”获取多本大数据电子书

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。更多免费资源在http://www.gitweixin.com/?p=2627

发表评论

邮箱地址不会被公开。 必填项已用*标注