Kafka Docker单机部署与配置全攻略

一、引言

在分布式消息队列领域，Apache Kafka凭借其高吞吐、低延迟和持久化特性，成为企业级应用的首选。对于开发测试环境或小型项目，单机部署Kafka既经济又高效。本文将详细阐述如何使用Docker在单机环境下快速部署Kafka，并完成基础配置，帮助开发者快速搭建Kafka环境。

二、Docker环境准备

1. 安装Docker

首先，确保你的系统已安装Docker。Docker支持多种操作系统，包括Linux、Windows和macOS。以Ubuntu为例，安装步骤如下：

# 更新软件包索引
sudo apt-get update
# 安装Docker依赖
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
# 添加Docker官方GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# 添加Docker软件源
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
# 更新软件包索引并安装Docker
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

2. 验证Docker安装

安装完成后，通过运行hello-world镜像验证Docker是否安装成功：

sudo docker run hello-world

看到输出“Hello from Docker!”表示Docker已成功安装。

三、Kafka Docker镜像选择

1. 官方镜像与社区镜像

Apache Kafka官方并未提供Docker镜像，但社区中有多个高质量的Kafka Docker镜像可供选择，如wurstmeister/kafka和bitnami/kafka。这些镜像包含了Kafka及其依赖Zookeeper的预配置，简化了部署过程。

2. 选择bitnami/kafka镜像

本文选择bitnami/kafka镜像，因为它提供了清晰的文档和易于使用的配置选项。通过Docker Hub获取镜像：

docker pull bitnami/kafka:latest

四、Kafka Docker容器启动

1. 启动Zookeeper

Kafka依赖Zookeeper进行集群管理和元数据存储。在单机环境下，我们可以使用同一个容器或单独启动一个Zookeeper容器。这里选择单独启动：

docker run --name zookeeper -p 2181:2181 -e ALLOW_ANONYMOUS_LOGIN=yes bitnami/zookeeper:latest

2. 启动Kafka

使用以下命令启动Kafka容器，并连接到上述Zookeeper实例：

docker run --name kafka \
  -p 9092:9092 \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  --link zookeeper \
  bitnami/kafka:latest

• -p 9092:9092：将容器的9092端口映射到主机的9092端口。
• -e KAFKA_CFG_ZOOKEEPER_CONNECT：指定Zookeeper的连接地址。
• -e ALLOW_PLAINTEXT_LISTENER：允许明文监听器，便于本地测试。
• -e KAFKA_CFG_ADVERTISED_LISTENERS：设置Kafka对外暴露的监听地址。
• --link zookeeper：将Zookeeper容器链接到Kafka容器，以便Kafka能访问Zookeeper。

五、Kafka单机配置调整

1. 配置文件位置

bitnami/kafka镜像的配置文件位于/opt/bitnami/kafka/config/目录下。主要配置文件包括server.properties、zookeeper.properties等。由于我们使用环境变量进行了基本配置，通常不需要直接修改这些文件。

2. 高级配置

若需进一步调整Kafka配置，如日志保留策略、副本数等，可以通过环境变量或挂载自定义配置文件实现。例如，修改日志保留时间为1天：

docker run --name kafka \
  -p 9092:9092 \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  -e KAFKA_CFG_LOG_RETENTION_HOURS=24 \
  --link zookeeper \
  bitnami/kafka:latest

或挂载自定义server.properties文件：

# 假设已有一个自定义的server.properties文件
docker run --name kafka \
  -p 9092:9092 \
  -v /path/to/your/server.properties:/opt/bitnami/kafka/config/server.properties \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  --link zookeeper \
  bitnami/kafka:latest

六、验证Kafka部署

1. 创建Topic

使用Kafka自带的脚本创建Topic：

docker exec -it kafka \
  bash -c "kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1"

2. 发送消息

使用生产者发送消息：

docker exec -it kafka \
  bash -c "echo 'Hello, Kafka!' | kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092"

3. 消费消息

使用消费者接收消息：

docker exec -it kafka \
  bash -c "kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092"

看到输出的“Hello, Kafka!”表示Kafka已成功部署并运行。

七、总结与建议

通过Docker部署Kafka单机环境，不仅简化了安装过程，还提供了良好的隔离性和可移植性。对于开发者而言，掌握Docker与Kafka的结合使用，能够显著提升开发效率。建议在实际项目中，根据需求调整Kafka配置，如增加副本数、优化日志保留策略等，以提升系统的稳定性和性能。