20230619 yarn nodemanger 节点退出

2023-07-15 hadoop 故障报告

一、问题现象

在报警群发现 hadoop nodemanger 节点的系统盘超过90%，并且陆续的超过了90%

这个时候 nodemanger 节点已经在陆续退出

二、持续时间

从 6月 17日 8点到 17点

三、影响范围

国内所以 hive spark 任务阻塞、并且上报流数据小时分区挂载失败。

四、问题原因

直接原因是发现有一个sql 执行了3天没有结束，导致在 NodeManager 本地目录被打满，NodeManager 退出

[root@hadoop-21 appcache]# pwd/data/yarn/nm/usercache/juan.chen/appcache[root@hadoop-21 appcache]# du -sh application_1683901442987_383801421G application_1683901442987_383801

本质原因是，NodeManager 本地目录存放在系统盘上了：/data/yarn/nm

五、解决问题

先杀死任务，让nodemanger 任务上线；

增加 NodeManager 本地目录 [yarn.nodemanager.local-dirs] 为多个数据盘目录，重启 NodeManger 节点。