单机部署Yarn：从环境配置到集群管理的完整指南

一、单机部署Yarn的核心价值与适用场景

在分布式计算框架中，Yarn（Yet Another Resource Negotiator）作为Hadoop生态的核心资源调度系统，其单机部署模式适用于开发测试、小型数据处理及教学演示等场景。相较于集群部署，单机模式具有资源占用低、配置简单、调试便捷等优势，尤其适合以下场景：

1. 开发验证：快速验证MapReduce作业逻辑，无需搭建完整集群。
2. 教学实验：在课程或培训中演示Yarn的核心机制（如资源申请、任务调度）。
3. 轻量级数据处理：处理GB级以下数据，避免集群资源浪费。
4. 故障复现：在隔离环境中复现生产环境问题，降低调试复杂度。

二、环境准备：从操作系统到依赖库

1. 操作系统选择

推荐使用Linux发行版（如CentOS 7/8或Ubuntu 20.04），因其对Hadoop生态的兼容性最佳。Windows系统需通过WSL2或Cygwin模拟Linux环境，但可能引入兼容性问题。

2. Java环境配置

Yarn依赖Java运行环境，需安装OpenJDK 8或11：

# CentOS示例
sudo yum install java-1.8.0-openjdk-devel
# Ubuntu示例
sudo apt install openjdk-8-jdk

验证安装：

java -version
# 应输出类似：openjdk version "1.8.0_302"

3. SSH免密登录配置

Yarn通过SSH管理节点间通信，单机环境需配置本地SSH免密登录：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

测试连接：

ssh localhost
# 应直接登录，无需密码

三、Yarn安装与配置详解

1. 下载与解压

从Apache官网下载稳定版Hadoop（包含Yarn）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /opt/
ln -s /opt/hadoop-3.3.4 /opt/hadoop

2. 核心配置文件修改

编辑/opt/hadoop/etc/hadoop/yarn-site.xml，配置资源管理参数：

<configuration>
    <!-- 资源调度器类型 -->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
    <!-- NodeManager内存限制 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value> <!-- 根据物理内存调整 -->
    </property>
    <!-- 虚拟CPU核心数 -->
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>
</configuration>

3. 环境变量设置

在~/.bashrc中添加：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

生效配置：

source ~/.bashrc

四、启动与验证流程

1. 格式化NameNode（仅首次需要）

hdfs namenode -format

2. 启动Yarn服务

start-yarn.sh

验证进程状态：

jps
# 应包含ResourceManager、NodeManager、Jps

3. Web UI访问

通过浏览器访问http://localhost:8088，查看集群状态、资源使用情况及运行中的作业。

五、性能优化与故障排查

1. 内存配置优化

• 调整堆内存：修改hadoop-env.sh中的HADOOP_HEAPSIZE（默认1000MB）。
• 容器内存分配：在mapred-site.xml中设置mapreduce.map.memory.mb和mapreduce.reduce.memory.mb。

2. 常见问题解决

• 端口冲突：检查8088、8042等端口是否被占用。
• 权限拒绝：确保/tmp/hadoop-*目录有写权限。
• 日志分析：通过yarn logs -applicationId <app_id>获取详细日志。

六、扩展应用：从单机到集群的平滑过渡

当数据处理需求增长时，可通过以下步骤扩展为集群：

1. 配置workers文件：在$HADOOP_HOME/etc/hadoop/workers中添加从节点IP。
2. 分发配置：使用scp将配置文件同步至所有节点。
3. 启动集群：在主节点执行start-dfs.sh和start-yarn.sh。

七、最佳实践建议

1. 资源隔离：使用cgroups限制NodeManager的资源使用，避免影响宿主机。
2. 监控集成：结合Prometheus+Grafana监控Yarn指标（如待分配资源、容器数）。
3. 定期维护：清理临时文件（$HADOOP_HOME/logs/*）和已完成作业日志。

结语

单机部署Yarn为开发者提供了低门槛的分布式计算实验环境，通过本文的配置指南与优化建议，读者可快速搭建功能完整的Yarn服务，并具备向集群模式扩展的能力。在实际应用中，建议结合具体业务场景调整资源参数，以实现性能与稳定性的平衡。