Mac 单机部署 Hadoop 详细指南

1. 引言

Hadoop 是一个用于分布式存储和大规模数据处理的框架，广泛应用于大数据领域。对于开发者来说，在本地环境中部署 Hadoop 是学习和开发的基础。本文将详细介绍如何在 Mac 系统上单机部署 Hadoop，涵盖环境准备、安装配置及常见问题解决，帮助开发者快速搭建本地 Hadoop 开发环境。

2. 环境准备

在开始部署 Hadoop 之前，需要确保 Mac 系统满足以下要求：

2.1 系统版本

Mac OS X 10.10 或更高版本。建议使用最新版本以获得更好的兼容性和性能。

2.2 Java 环境

Hadoop 依赖于 Java 运行环境，因此需要先安装 Java Development Kit (JDK)。可以通过以下命令检查 Java 是否已安装：

java -version

如果未安装，可以通过 Homebrew 安装 JDK：

brew install openjdk@11

2.3 SSH 配置

Hadoop 使用 SSH 进行节点间通信，因此需要确保 SSH 服务已启动并配置无密码登录。可以通过以下命令启动 SSH 服务：

sudo systemsetup -setremotelogin on

然后生成 SSH 密钥并将公钥添加到授权文件中：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

3. Hadoop 安装与配置

3.1 下载 Hadoop

从 Apache Hadoop 官方网站下载最新版本的 Hadoop 二进制包。本文以 Hadoop 3.3.4 为例：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

3.2 解压 Hadoop

将下载的 Hadoop 压缩包解压到指定目录，例如 /usr/local/hadoop：

tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
cd /usr/local
sudo mv hadoop-3.3.4 hadoop

3.3 配置环境变量

编辑 ~/.bash_profile 文件，添加 Hadoop 相关环境变量：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效：

source ~/.bash_profile

3.4 配置 Hadoop

Hadoop 的配置文件位于 $HADOOP_HOME/etc/hadoop 目录下，需要根据单机模式进行配置。

3.4.1 hadoop-env.sh

编辑 hadoop-env.sh 文件，设置 Java 路径：

export JAVA_HOME=$(/usr/libexec/java_home)

3.4.2 core-site.xml

配置 Hadoop 核心参数：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.4.3 hdfs-site.xml

配置 HDFS 参数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.4.4 mapred-site.xml

配置 MapReduce 参数：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.4.5 yarn-site.xml

配置 YARN 参数：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

4. 启动 Hadoop

4.1 格式化 HDFS

首次启动 Hadoop 前，需要格式化 HDFS：

hdfs namenode -format

4.2 启动 Hadoop 服务

使用以下命令启动 Hadoop 服务：

start-dfs.sh
start-yarn.sh

4.3 验证 Hadoop 运行状态

通过以下命令验证 Hadoop 是否正常运行：

jps

应看到 NameNode、DataNode、ResourceManager、NodeManager 等进程。

5. 常见问题与解决方法

5.1 SSH 登录失败

确保 SSH 服务已启动，并且配置了无密码登录。可以通过以下命令测试 SSH 连接：

ssh localhost

5.2 Hadoop 服务启动失败

检查日志文件 $HADOOP_HOME/logs 中的错误信息，根据提示进行排查。

5.3 端口冲突

确保 Hadoop 使用的端口未被其他进程占用，可以通过 netstat 命令查看端口使用情况。

6. 结语

通过本文的步骤，开发者可以在 Mac 系统上成功部署单机 Hadoop 环境，为后续的大数据学习和开发打下坚实的基础。希望本文能够帮助读者快速上手 Hadoop，并在实际项目中灵活运用。