一、为什么选择Docker部署Hadoop单机版？

Hadoop作为分布式计算的标杆框架，其完整部署通常需要多节点协同。但在开发测试、教学演示或数据分析原型验证场景下，单机模式足以满足需求。Docker容器化技术为Hadoop单机部署提供了三大核心优势：

1. 环境隔离性：通过容器技术彻底规避本地系统环境冲突，确保Hadoop运行环境纯净
2. 快速启停能力：容器启动速度比传统虚拟机快5-10倍，特别适合临时测试场景
3. 版本一致性：通过Dockerfile明确定义环境依赖，保证不同设备上的运行结果一致性

典型应用场景包括：算法工程师验证MapReduce作业逻辑、大数据课程实践教学、CI/CD流水线中的集成测试。相较于伪分布式模式，Docker方案更轻量且无需配置复杂的SSH免密登录。

二、部署前环境准备

2.1 系统要求

• 操作系统：Linux（推荐Ubuntu 20.04/CentOS 7+）或macOS（需Docker Desktop）
• 硬件配置：最低4GB内存（建议8GB+），20GB可用磁盘空间
• 软件依赖：Docker Engine 20.10+（社区版即可）

2.2 Docker基础检查

执行以下命令验证Docker安装：

docker --version
# 应输出类似：Docker version 20.10.17, build 100c701
docker run hello-world
# 验证容器基本运行能力

2.3 网络配置建议

为避免端口冲突，建议：

1. 关闭本地8088（ResourceManager）、9870（NameNode Web UI）等端口占用服务
2. 配置Docker网络模式为bridge（默认）或host（性能更优但需注意端口）

三、Hadoop Docker镜像构建

3.1 官方镜像分析

Hadoop官方在Docker Hub提供了基础镜像：

docker pull sequenceiq/hadoop-docker:2.7.0

但存在两个问题：版本较旧（2.7.0）、功能过于基础。建议自定义构建。

3.2 自定义Dockerfile实现

创建Dockerfile文件，内容如下：

FROM openjdk:8-jdk-slim
# 环境变量设置
ENV HADOOP_VERSION=3.3.4
ENV HADOOP_HOME=/opt/hadoop
ENV PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 安装依赖并下载Hadoop
RUN apt-get update && apt-get install -y \
    wget \
    ssh \
    pdsh \
    && rm -rf /var/lib/apt/lists/*
RUN wget https://downloads.apache.org/hadoop/common/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz \
    && tar -xzvf hadoop-$HADOOP_VERSION.tar.gz -C /opt/ \
    && mv /opt/hadoop-$HADOOP_VERSION $HADOOP_HOME \
    && rm hadoop-$HADOOP_VERSION.tar.gz
# 配置Hadoop环境
COPY core-site.xml $HADOOP_HOME/etc/hadoop/
COPY hdfs-site.xml $HADOOP_HOME/etc/hadoop/
COPY mapred-site.xml $HADOOP_HOME/etc/hadoop/
COPY yarn-site.xml $HADOOP_HOME/etc/hadoop/
# 格式化NameNode（容器启动时执行）
CMD ["sh", "-c", "$HADOOP_HOME/bin/hdfs namenode -format && $HADOOP_HOME/sbin/start-dfs.sh && tail -f /dev/null"]

3.3 配置文件详解

创建四个配置文件（示例为关键配置项）：

core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop/data/namenode</value>
  </property>
</configuration>

四、容器部署与验证

4.1 构建并启动容器

# 构建镜像（注意最后的点）
docker build -t hadoop-single .
# 启动容器（端口映射关键）
docker run -itd \
  --name hadoop-single \
  -p 9870:9870 \
  -p 8088:8088 \
  -p 9864:9864 \
  hadoop-single

4.2 验证服务状态

进入容器检查进程：

docker exec -it hadoop-single bash
jps
# 应看到：NameNode、DataNode、ResourceManager、NodeManager等进程

访问Web UI：

• NameNode：http://localhost:9870
• ResourceManager：http://localhost:8088

4.3 运行测试作业

执行WordCount示例：

# 创建输入目录
hdfs dfs -mkdir -p /input
# 上传测试文件
echo "hello docker hadoop" > test.txt
hdfs dfs -put test.txt /input
# 运行MapReduce作业
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar \
  wordcount /input /output
# 查看结果
hdfs dfs -cat /output/part-r-00000

五、性能优化与问题排查

5.1 内存配置优化

在mapred-site.xml中增加：

<property>
  <name>mapreduce.map.memory.mb</name>
  <value>512</value>
</property>
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>1024</value>
</property>

5.2 常见问题解决方案

1. 端口冲突：

   • 错误现象：BindException: Port in use
   • 解决方案：修改宿主机端口映射或停止冲突服务

2. 权限问题：

   • 错误现象：Permission denied
   • 解决方案：在Dockerfile中添加USER root或调整数据目录权限

3. 磁盘空间不足：

   • 错误现象：No space left on device
   • 解决方案：增加-v /host/path:/opt/hadoop/data卷映射

六、进阶使用建议

1. 数据持久化：

   docker run -itd \
   --name hadoop-persistent \
   -v $(pwd)/hadoop-data:/opt/hadoop/data \
   hadoop-single

2. 多容器协同（模拟伪分布式）：

   # 启动多个容器通过--network连接
   docker network create hadoop-net
   docker run -d --name hdfs-nn --network hadoop-net ...
   docker run -d --name hdfs-dn --network hadoop-net ...

3. 与Spark集成：
   在Dockerfile中添加Spark安装步骤，配置SPARK_DIST_CLASSPATH环境变量

七、总结与展望

通过Docker部署Hadoop单机版，开发者可以在5分钟内获得完整的测试环境。相比传统部署方式，容器化方案将环境准备时间缩短80%以上。未来可扩展的方向包括：

1. 使用Docker Compose定义多服务编排
2. 集成Kubernetes实现弹性伸缩
3. 结合CI/CD工具实现自动化测试

建议开发者定期更新Hadoop版本（当前最新稳定版3.3.4），并关注Cloud Native Computing Foundation（CNCF）关于大数据工具链的标准化进展。