Kafka Docker单机部署与配置全攻略

一、引言

Kafka作为分布式流处理平台，广泛应用于日志收集、实时数据分析等场景。对于开发测试或小型项目，单机部署Kafka是快速验证功能的理想选择。结合Docker容器化技术，可简化部署流程，提升环境一致性。本文将详细介绍如何通过Docker在单机环境下完成Kafka的部署与基础配置。

二、环境准备

1. 硬件要求

• CPU：建议至少2核，Kafka对CPU密集型操作（如序列化/反序列化）有一定需求。
• 内存：4GB以上，Kafka依赖Page Cache加速IO，内存不足会导致性能下降。
• 磁盘：SSD优先，Kafka存储大量日志数据，磁盘I/O性能直接影响吞吐量。
• 操作系统：Linux（推荐Ubuntu/CentOS）或支持Docker的Windows/macOS。

2. 软件依赖

• Docker：安装最新稳定版Docker Engine（官网安装指南）。
• Docker Compose（可选）：简化多容器管理，推荐安装。
• 网络：确保主机有开放端口（默认9092用于客户端连接，2181用于Zookeeper，若使用外部Zookeeper可忽略）。

三、Docker部署Kafka

1. 拉取Kafka镜像

推荐使用官方或社区维护的镜像，如bitnami/kafka（集成Zookeeper）或wurstmeister/kafka（需单独部署Zookeeper）。

# 拉取bitnami/kafka镜像（含Zookeeper）
docker pull bitnami/kafka:latest
# 或拉取wurstmeister/kafka（需单独部署Zookeeper）
docker pull wurstmeister/kafka:latest

2. 启动Kafka容器（集成Zookeeper方案）

使用bitnami/kafka镜像可一键启动Kafka+Zookeeper，适合快速测试。

docker run -d \
  --name kafka \
  -p 9092:9092 \
  -p 2181:2181 \
  -e ALLOW_PLAINTEXT_LISTENER=yes \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  bitnami/kafka:latest

参数说明：

• -p 9092:9092：暴露Kafka端口。
• -p 2181:2181：暴露Zookeeper端口。
• ALLOW_PLAINTEXT_LISTENER=yes：允许明文连接（测试环境使用，生产环境需配置SSL/SASL）。
• KAFKA_CFG_ADVERTISED_LISTENERS：设置客户端连接的地址。

3. 启动Kafka容器（独立Zookeeper方案）

若需单独部署Zookeeper，可先启动Zookeeper容器，再启动Kafka。

# 启动Zookeeper
docker run -d \
  --name zookeeper \
  -p 2181:2181 \
  -e ALLOW_ANONYMOUS_LOGIN=yes \
  bitnami/zookeeper:latest
# 启动Kafka，连接外部Zookeeper
docker run -d \
  --name kafka \
  -p 9092:9092 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  wurstmeister/kafka:latest

四、Kafka单机配置优化

1. 配置文件调整

Kafka核心配置位于/opt/bitnami/kafka/config/server.properties（bitnami镜像）或/opt/kafka/config/server.properties（wurstmeister镜像）。关键参数如下：

# 存储日志目录（需确保磁盘空间充足）
log.dirs=/bitnami/kafka/data
# 副本数（单机环境设为1）
num.partitions=1
default.replication.factor=1
# 内存配置（根据主机内存调整）
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
# 日志保留策略（按时间或大小）
log.retention.hours=168
log.segment.bytes=1073741824

2. 修改配置后重启容器

docker restart kafka

五、测试验证

1. 创建Topic

docker exec -it kafka \
  bash -c "kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1"

2. 发送消息

docker exec -it kafka \
  bash -c "echo 'Hello, Kafka!' | kafka-console-producer.sh --topic test --bootstrap-server localhost:9092"

3. 消费消息

docker exec -it kafka \
  bash -c "kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092"

若看到Hello, Kafka!输出，则部署成功。

六、常见问题与解决

1. 端口冲突

若主机9092端口被占用，修改Docker映射端口：

docker run -d -p 9093:9092 ...  # 将主机9093映射到容器9092

2. 内存不足

错误日志中若出现OutOfMemoryError，需调整JVM堆内存（通过KAFKA_HEAP_OPTS环境变量）：

-e KAFKA_HEAP_OPTS="-Xmx1g -Xms512m"

3. 跨主机访问

若需从外部访问Kafka，修改advertised.listeners为主机IP或域名：

advertised.listeners=PLAINTEXT://192.168.1.100:9092

七、总结

通过Docker部署Kafka单机环境，可快速搭建开发测试环境。关键步骤包括：

1. 选择合适的镜像（集成或独立Zookeeper）。
2. 正确配置端口映射和环境变量。
3. 根据需求调整server.properties参数。
4. 通过创建Topic、发送/消费消息验证功能。

对于生产环境，需进一步考虑高可用性（多节点部署）、安全性（SSL/SASL）和监控（Prometheus+Grafana）等配置。