一、引言：为什么选择Docker部署Kafka？

Kafka作为分布式流处理平台的核心组件，广泛应用于日志收集、实时分析等场景。传统部署方式需手动安装ZooKeeper、配置JVM参数、调整系统内核参数，过程繁琐且易出错。而Docker通过容器化技术将Kafka及其依赖（如ZooKeeper）封装为独立环境，实现”一键部署”和”环境隔离”，显著降低运维复杂度。

单机部署Kafka的典型场景包括：

• 开发环境快速搭建：开发者可在本地模拟生产环境，验证消息生产/消费逻辑。
• 轻量级测试集群：用于功能测试或性能基准测试。
• 边缘计算节点：在资源受限的设备上部署轻量级消息队列。

本文将详细介绍如何使用Docker Compose在单机上部署单节点Kafka集群，并涵盖生产环境配置建议。

二、环境准备与前置条件

1. 硬件资源要求

资源类型	最小配置	推荐配置
CPU	2核	4核及以上
内存	4GB	8GB及以上
磁盘	50GB（SSD优先）	100GB+（SSD）

Kafka对磁盘I/O性能敏感，建议使用SSD存储日志数据。若使用机械硬盘，需调整log.flush.interval.messages和log.flush.interval.ms参数以避免性能瓶颈。

2. 软件依赖

• Docker Engine：版本≥20.10.0（支持Compose V2）
• Docker Compose：版本≥1.29.0（推荐使用V2.x）
• 操作系统：Linux（内核≥4.0）或macOS/Windows（需启用WSL2）

3. 网络配置

Kafka默认监听9092端口（客户端连接）和2181端口（ZooKeeper）。若主机已占用这些端口，需在docker-compose.yml中修改映射关系。

三、Docker Compose部署方案

1. 基础部署：单Broker+嵌入式ZooKeeper

创建docker-compose.yml文件，内容如下：

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    container_name: zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"
    volumes:
      - zk-data:/var/lib/zookeeper/data
      - zk-log:/var/lib/zookeeper/log
  kafka:
    image: confluentinc/cp-kafka:7.5.0
    container_name: kafka
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
    volumes:
      - kafka-data:/var/lib/kafka/data
volumes:
  zk-data:
  zk-log:
  kafka-data:

关键参数说明：

• KAFKA_BROKER_ID：Broker唯一标识，单机部署固定为1
• KAFKA_ADVERTISED_LISTENERS：告知客户端如何连接Broker，localhost适用于本地开发
• KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR：单节点时设为1（默认需3个副本）
• KAFKA_TRANSACTION_STATE_LOG_*：事务日志配置，单机场景可降低副本数

启动命令：

docker compose up -d

验证服务状态：

docker logs kafka | grep "Started"

2. 进阶配置：多Broker伪集群

若需模拟多Broker环境（如测试ISR机制），可扩展Compose文件：

services:
  kafka1:
    image: confluentinc/cp-kafka:7.5.0
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka1:9092
    # ...其他参数同上
  kafka2:
    image: confluentinc/cp-kafka:7.5.0
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka2:9093
    # ...需修改端口映射和卷名
  # 需配置ZooKeeper和listeners映射

注意：伪集群需确保每个Broker的advertised.listeners和broker.id唯一，且ZooKeeper连接参数一致。

四、生产环境优化建议

1. 持久化存储配置

默认卷映射可能导致数据丢失，建议：

volumes:
  - /path/to/host/data:/var/lib/kafka/data

确保主机目录有足够空间和正确权限（chown -R 1000:1000 /path/to/host/data）。

2. JVM调优

通过环境变量调整堆内存：

environment:
  KAFKA_HEAP_OPTS: "-Xms2g -Xmx2g"

建议堆内存不超过物理内存的1/3，且-Xms与-Xmx值相同以避免动态调整开销。

3. 日志保留策略

修改server.properties（通过环境变量或挂载配置文件）：

environment:
  KAFKA_LOG_RETENTION_HOURS: 168  # 7天
  KAFKA_LOG_SEGMENT_BYTES: 1073741824  # 1GB

4. 安全配置

启用SASL_SSL认证（示例片段）：

environment:
  KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:SASL_SSL,EXTERNAL:SASL_SSL
  KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://<host_ip>:9093
  KAFKA_SASL_ENABLED_MECHANISMS: SCRAM-SHA-256
  KAFKA_SASL_MECHANISM_INTER_BROKER_PROTOCOL: SCRAM-SHA-256

需配合kafka-configs.sh创建用户和ACL策略。

五、验证与测试

1. 创建测试Topic

docker exec -it kafka \
  bash -c "kafka-topics --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1"

2. 生产/消费测试

生产消息：

docker exec -it kafka \
  bash -c "echo 'Hello Kafka' | kafka-console-producer --topic test --bootstrap-server localhost:9092"

消费消息：

docker exec -it kafka \
  bash -c "kafka-console-consumer --topic test --from-beginning --bootstrap-server localhost:9092"

3. 性能基准测试

使用kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh工具：

docker exec -it kafka \
  bash -c "kafka-producer-perf-test \
    --topic perf-test \
    --num-records 1000000 \
    --record-size 1000 \
    --throughput -1 \
    --producer-props bootstrap.servers=localhost:9092 \
    --print-metrics"

六、常见问题与解决方案

1. 端口冲突

现象：启动失败，日志显示Address already in use
解决：修改ports映射或终止占用进程：

sudo lsof -i :9092
kill -9 <PID>

2. ZooKeeper连接失败

现象：Kafka日志显示Connection loss
解决：

• 检查ZooKeeper服务状态：docker logs zookeeper
• 确保KAFKA_ZOOKEEPER_CONNECT格式正确（host:port）
• 增加ZooKeeper超时时间：

  environment:
    ZOOKEEPER_CONNECTION_TIMEOUT_MS: 10000

3. 数据目录权限问题

现象：Broker启动失败，日志显示Permission denied
解决：

# 停止容器
docker compose down
# 修正主机目录权限
sudo chown -R 1000:1000 /path/to/data
# 重新启动
docker compose up -d

七、总结与扩展建议

1. 部署方案对比

方案	适用场景	复杂度	资源占用
单Broker	开发/测试	低	低
伪集群	功能测试（如ISR模拟）	中	中
完整集群	生产环境	高	高

2. 扩展方向

• 监控集成：挂载Prometheus JMX Exporter
• 日志收集：配置Filebeat或Fluentd侧车容器
• CI/CD集成：将Compose文件纳入GitOps流程

3. 最佳实践

• 始终备份server.properties和zookeeper.properties
• 使用docker compose config验证配置语法
• 定期清理未使用的容器和卷：docker system prune

通过Docker部署Kafka可显著提升环境一致性，但需注意容器内时间同步（建议挂载主机/etc/localtime）和资源限制（通过deploy.resources配置CPU/内存限额）。对于关键业务系统，建议结合Kubernetes Operator实现高可用部署。