YARN单机部署全攻略：从环境配置到生产就绪的完整指南

一、单机部署的核心价值与适用场景

在资源受限或测试环境中，YARN单机部署通过整合Resource Manager（RM）、Node Manager（NM）和Application Master（AM）于单一节点，实现了轻量级的资源调度能力。相较于集群模式，单机部署具有以下优势：

1. 快速验证：开发者可在本地环境模拟集群行为，验证作业逻辑与资源配置合理性。
2. 资源高效利用：在小型团队或边缘计算场景中，单机模式可避免集群节点间的通信开销。
3. 成本优化：无需搭建多节点集群，降低硬件与运维成本。

典型适用场景包括：

• 开发阶段的功能测试与性能调优
• 教学环境中的资源管理原理演示
• 临时数据处理任务的快速执行

二、环境准备与依赖管理

2.1 系统要求

• 操作系统：Linux（推荐CentOS 7/Ubuntu 20.04）或MacOS（需通过Homebrew安装依赖）
• Java环境：JDK 1.8+（推荐OpenJDK或Oracle JDK）
• 内存配置：建议至少8GB RAM（测试环境可降至4GB）
• 磁盘空间：/tmp目录需保留5GB以上可用空间

2.2 依赖安装

# CentOS 7示例
sudo yum install -y java-1.8.0-openjdk-devel
sudo yum install -y wget tar
# Ubuntu 20.04示例
sudo apt update
sudo apt install -y openjdk-8-jdk wget tar

验证Java环境：

java -version
# 应输出类似：openjdk version "1.8.0_302"

三、YARN安装与配置

3.1 下载与解压

从Apache官网获取稳定版Hadoop（包含YARN组件）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
cd /opt/hadoop-3.3.4

3.2 核心配置文件

etc/hadoop/yarn-site.xml

<configuration>
  <!-- 启用单机模式 -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>false</value>
  </property>
  <!-- 配置内存资源 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value> <!-- 根据实际内存调整 -->
  </property>
  <!-- 配置虚拟CPU核心 -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
  <!-- 日志聚合配置 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
</configuration>

etc/hadoop/mapred-site.xml

<configuration>
  <!-- 指定MapReduce运行在YARN上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

3.3 环境变量配置

编辑etc/hadoop/hadoop-env.sh，添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_CONF_DIR=/opt/hadoop-3.3.4/etc/hadoop
export YARN_CONF_DIR=$HADOOP_CONF_DIR

四、启动与验证流程

4.1 格式化HDFS（可选）

若需使用HDFS存储临时数据：

bin/hdfs namenode -format
sbin/start-dfs.sh

4.2 启动YARN服务

sbin/start-yarn.sh
# 验证进程状态
jps
# 应看到NodeManager、ResourceManager、Jps进程

4.3 运行测试作业

# 创建测试目录
bin/hadoop fs -mkdir /test
# 执行示例作业
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 5

4.4 监控界面访问

通过浏览器访问：

• ResourceManager UI：http://localhost:8088
• NodeManager UI：http://localhost:8042

五、生产环境优化建议

5.1 内存配置调优

参数	推荐值（8GB内存）	说明
yarn.nodemanager.resource.memory-mb	6144	预留2GB给系统
yarn.scheduler.maximum-allocation-mb	4096	单容器最大内存
mapreduce.map.memory.mb	1024	Map任务内存
mapreduce.reduce.memory.mb	2048	Reduce任务内存

5.2 日志管理

配置log4j.properties实现分级日志：

log4j.logger.org.apache.hadoop.yarn=INFO
log4j.logger.org.apache.hadoop.mapred=WARN

5.3 安全加固

• 禁用UI界面的调试功能：

  <property>
  <name>yarn.webapp.ui2.enable</name>
  <value>false</value>
  </property>

• 启用Kerberos认证（需额外配置）

六、常见问题解决方案

6.1 容器启动失败

现象：ApplicationMaster启动后立即退出
排查步骤：

1. 检查yarn-nodemanager-*.log中的错误信息
2. 验证内存配置是否超过节点可用资源
3. 检查/tmp目录权限

6.2 资源不足错误

典型日志：

Container [pid=...] is running beyond physical memory limits

解决方案：

• 调整yarn.nodemanager.vmem-check-enabled为false（测试环境）
• 增加yarn.nodemanager.resource.memory-mb配置值

6.3 网络连接问题

现象：RM与NM无法通信
排查工具：

netstat -tulnp | grep 8032  # 检查RM端口
telnet localhost 8032       # 测试连接性

七、进阶配置技巧

7.1 自定义资源类型

在capacity-scheduler.xml中配置：

<property>
  <name>yarn.scheduler.capacity.resource-calculator</name>
  <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

7.2 动态资源分配

启用mapreduce.job.ubertask.enable实现小作业自动优化：

<property>
  <name>mapreduce.job.ubertask.enable</name>
  <value>true</value>
</property>
<property>
  <name>mapreduce.job.ubertask.maxmaps</name>
  <value>10</value>
</property>

八、总结与最佳实践

1. 版本兼容性：确保Hadoop版本与Java版本匹配（如Hadoop 3.x需JDK 8+）
2. 资源监控：定期通过yarn node -list检查节点状态
3. 备份策略：重要配置文件建议使用Git进行版本管理
4. 升级路径：从单机模式迁移到集群时，保持配置文件结构一致

通过本文的详细指导，开发者可在30分钟内完成YARN单机环境的部署与基础验证。实际生产环境中，建议结合Prometheus+Grafana构建可视化监控体系，进一步提升运维效率。