一、为什么选择Docker部署Kafka单机版？

Kafka作为分布式消息系统，其核心优势在于高吞吐、低延迟的分布式架构。但在开发测试、学习验证或边缘计算场景中，单机部署Kafka仍具有显著价值：

1. 快速验证：无需搭建ZooKeeper集群或配置多节点，10分钟内完成环境搭建。
2. 资源隔离：通过Docker容器实现进程级隔离，避免与宿主机服务冲突。
3. 版本可控：固定镜像版本确保环境一致性，减少“在我机器上能运行”的问题。
4. 轻量级：相比虚拟机方案，Docker占用资源更少，适合资源有限的开发机。

传统单机部署需手动安装Java环境、下载Kafka二进制包、配置ZooKeeper等步骤，而Docker方案通过镜像封装所有依赖，显著降低了操作复杂度。

二、环境准备与镜像选择

2.1 基础环境要求

• 硬件：建议至少4GB内存（Kafka默认配置下），磁盘空间根据数据保留需求调整。
• 系统：Linux（推荐Ubuntu/CentOS）或macOS（通过Docker Desktop），Windows需开启WSL2或Hyper-V。
• Docker版本：建议使用最新稳定版（可通过docker --version验证）。

2.2 镜像选择策略

Kafka官方未提供官方Docker镜像，但社区维护的优质镜像包括：

• bitnami/kafka：自动化配置ZooKeeper，适合快速启动。
• wurstmeister/kafka：支持自定义配置，灵活性高。
• confluentinc/cp-kafka：Confluent公司维护，包含完整生态工具（如Schema Registry）。

推荐方案：

• 开发测试：bitnami/kafka（一键启动，内置ZooKeeper）。
• 生产模拟：wurstmeister/kafka + 独立ZooKeeper容器（更接近真实环境）。

示例拉取命令：

docker pull bitnami/kafka:latest

三、单机部署实战：以bitnami/kafka为例

3.1 单容器模式（内置ZooKeeper）

步骤1：启动容器

docker run -d --name kafka \
  -p 9092:9092 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  bitnami/kafka:latest

• -p 9092:9092：暴露Kafka端口。
• ALLOW_PLAINTEXT_LISTENER=yes：允许非加密连接（仅限测试环境）。

步骤2：验证服务

docker exec -it kafka bash
# 进入容器后执行
kafka-topics.sh --bootstrap-server localhost:9092 --list

若返回空列表（无主题），说明服务启动成功。

3.2 分离ZooKeeper与Kafka（推荐生产模拟）

步骤1：启动ZooKeeper

docker run -d --name zookeeper \
  -p 2181:2181 \
  -e ALLOW_ANONYMOUS_LOGIN=yes \
  bitnami/zookeeper:latest

步骤2：启动Kafka并连接ZooKeeper

docker run -d --name kafka \
  -p 9092:9092 \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT \
  -e KAFKA_CFG_LISTENERS=PLAINTEXT://:9092 \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

关键参数说明：

• KAFKA_CFG_ZOOKEEPER_CONNECT：指定ZooKeeper地址。
• ADVERTISED_LISTENERS：告知客户端如何连接Kafka（需与宿主机IP/域名匹配）。

四、配置优化与常见问题

4.1 性能调优建议

• 内存限制：通过-e KAFKA_HEAP_OPTS="-Xms512m -Xmx512m"调整JVM堆内存。
• 日志保留：修改log.retention.hours参数（默认168小时，即7天）。
• 磁盘I/O：将log.dirs指向高性能磁盘（如SSD）。

示例配置（通过环境变量）：

-e KAFKA_CFG_LOG_RETENTION_HOURS=24 \
-e KAFKA_CFG_NUM_PARTITIONS=3 \
-e KAFKA_CFG_DEFAULT_REPLICATION_FACTOR=1

4.2 常见问题解决

问题1：客户端无法连接

• 检查ADVERTISED_LISTENERS是否配置为宿主机可访问的地址（如PLAINTEXT://192.168.1.100:9092）。
• 防火墙放行9092端口：sudo ufw allow 9092（Ubuntu）。

问题2：容器频繁重启

• 查看日志：docker logs kafka。
• 常见原因：内存不足、磁盘空间满、配置错误。

问题3：数据持久化
默认情况下容器删除后数据丢失，需挂载卷：

-v /path/to/data:/bitnami/kafka

五、基本使用示例

5.1 创建主题

docker exec -it kafka bash
kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

5.2 生产者/消费者测试

生产者：

kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

输入消息后按回车发送。

消费者：

kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

六、进阶场景：多Broker模拟

虽为单机，但可通过多容器模拟分布式环境：

# 启动Broker1
docker run -d --name kafka1 \
  -e KAFKA_CFG_BROKER_ID=1 \
  -e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest
# 启动Broker2（需修改端口和ID）
docker run -d --name kafka2 \
  -p 9093:9093 \
  -e KAFKA_CFG_BROKER_ID=2 \
  -e KAFKA_CFG_LISTENERS=PLAINTEXT://:9093 \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9093 \
  bitnami/kafka:latest

注意：需额外配置controlled.shutdown.enable=true避免脑裂。

七、总结与最佳实践

1. 开发环境：优先使用bitnami/kafka单容器模式，快速迭代。
2. 生产模拟：分离ZooKeeper与Kafka，配置多Broker模拟集群行为。
3. 数据安全：测试环境禁用ALLOW_PLAINTEXT_LISTENER，生产环境启用SSL/SASL。
4. 资源监控：通过docker stats或Prometheus+Grafana监控容器指标。

Docker部署Kafka单机版极大简化了环境搭建流程，但需注意其与真实分布式环境的差异（如无故障转移能力）。合理利用此方案可显著提升开发效率，同时为后续集群部署积累经验。