CDH Yarn WebUI没有显示最近的FINISHED Applications
在跑spark任务时,CDH6.3.2的Yarn WebUI没有显示最近的FINISHED Applications,想查看已跑完的spark看不到,非常不方便。
CDH(Cloudera Distribution for Hadoop)是一个大数据处理平台,其中的YARN(Yet Another Resource Negotiator)是用于资源管理和任务调度的核心组件。您提到在YARN的WEBUI中,”FINISHED Applications”(已完成的应用程序)没有显示最新的记录。这可能由多种原因导致。
- 刷新问题: 有时候,Web界面可能由于不正确的缓存或其他问题而未能及时刷新,导致显示的信息不是最新的。
- 日志滚动策略: YARN的日志滚动策略可能会导致已完成的应用程序的日志被压缩或删除,从而影响了Web界面的展示。
- 数据清理策略: 可能在CDH配置中设置了数据清理策略,这可能会导致一些旧的已完成应用程序被自动清理,从而在Web界面中不再显示。
解决方案:
以下是一些可能的解决方案,您可以尝试进行排查和解决问题:
- 手动刷新界面: 首先尝试手动刷新Web界面,看看是否能够获取到最新的数据。有时候,简单的刷新就可以解决问题。
- 检查日志设置: 查看CDH集群中YARN的日志滚动和保留策略。您可以调整这些设置,确保日志文件得到正确保留并且不会被过早清理。
- 调整数据清理策略: 如果CDH集群中配置了自动数据清理策略,您可以考虑调整清理策略,以便保留更多的已完成应用程序数据。
- 查看日志和错误信息: 查看YARN的日志文件以及相关的错误信息,看看是否有任何与已完成应用程序信息显示相关的问题。
- 升级和修复: 如果问题仍然存在,可能需要考虑升级CDH版本或者应用程序,以获取更稳定的Web界面功能。
- 联系支持: 如果您尝试了以上方法仍无法解决问题,可以考虑联系CDH的技术支持团队寻求进一步帮助。
看了Yarn的配置,觉得都正常,重启了Yarn组件,重新跑任务
FINISHED Applications 有显示最新任务了。仔细查看原来是之前没有用倒序,默认是顺序排列,最新的没有显示在第一页。
关注公众号“大模型全栈程序员”回复“大数据面试”获取800页左右大数据面试宝典 ,回复“大数据”获取多本大数据电子书