一、背景与目标

随着大语言模型（LLM）在自然语言处理领域的广泛应用，如何在高效、可控的环境中部署和运行这些模型成为开发者关注的重点。vLLM 作为一款高性能的 LLM 推理框架，支持多模型并行加载和动态批处理，尤其适合在资源受限的环境中运行。DeepSeek-7B 是基于 Transformer 架构的 70 亿参数模型，在文本生成、问答等任务中表现优异。本文将详细介绍如何在 Docker 环境中部署 vLLM + DeepSeek-7B，为开发者提供可复用的技术方案。

二、环境准备

1. 硬件配置建议

• GPU 资源：推荐使用 NVIDIA GPU（如 A100、V100），显存至少 16GB（DeepSeek-7B 模型权重约 14GB）。
• CPU 与内存：4 核 CPU、32GB 内存（满足 Docker 容器运行需求）。
• 存储空间：至少预留 50GB 可用空间（用于模型权重和临时文件）。

2. 软件依赖安装

2.1 安装 Docker 与 NVIDIA Container Toolkit

# 安装 Docker
curl -fsSL https://get.docker.com | sh
sudo systemctl enable --now docker
# 安装 NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker

2.2 验证 Docker 与 GPU 兼容性

docker run --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi

输出应显示 GPU 信息，确认 Docker 可访问 GPU 资源。

三、Docker 镜像构建

1. 基础镜像选择

推荐使用 nvcr.io/nvidia/pytorch:23.10-py3（NVIDIA 官方 PyTorch 镜像，预装 CUDA 11.8 和 PyTorch 2.0+），或基于 ubuntu:22.04 自定义镜像。

2. 编写 Dockerfile

# 使用 NVIDIA PyTorch 镜像作为基础
FROM nvcr.io/nvidia/pytorch:23.10-py3
# 设置工作目录
WORKDIR /workspace
# 安装依赖（vLLM 和 DeepSeek-7B）
RUN pip install --upgrade pip && \
    pip install vllm transformers && \
    git clone https://github.com/deepseek-ai/DeepSeek-LLM.git && \
    cd DeepSeek-LLM && \
    pip install -e .
# 复制模型权重（可选，或通过挂载卷加载）
# COPY deepseek-7b.bin /models/
# 暴露端口（用于 API 服务）
EXPOSE 8000
# 启动命令（示例）
CMD ["python", "-m", "vllm.entrypoints.api_server", \
     "--model", "/models/deepseek-7b", \
     "--tensor-parallel-size", "1", \
     "--port", "8000"]

关键参数说明：

• --model：指定模型权重路径。
• --tensor-parallel-size：张量并行度（单机部署时设为 1）。
• --port：API 服务端口。

3. 构建镜像

docker build -t vllm-deepseek:latest .

四、模型与数据准备

1. 下载 DeepSeek-7B 模型权重

从官方渠道获取模型权重（如 Hugging Face Hub 或 DeepSeek 官方仓库），保存为 deepseek-7b.bin 或 Hugging Face 格式的目录。

2. 数据挂载方案

方案 1：直接复制到镜像（适用于静态部署）

修改 Dockerfile，添加 COPY 指令（如上例）。

方案 2：通过卷挂载（推荐，便于动态更新）

docker run -d --gpus all -v /path/to/models:/models -p 8000:8000 vllm-deepseek:latest

五、运行与测试

1. 启动容器

docker run -d --name vllm-deepseek --gpus all \
     -v /path/to/models:/models \
     -p 8000:8000 \
     vllm-deepseek:latest

2. 验证服务

2.1 使用 cURL 测试

curl -X POST http://localhost:8000/generate \
     -H "Content-Type: application/json" \
     -d '{"prompt": "Hello, world!", "max_tokens": 32}'

预期返回生成的文本。

2.2 使用 Python 客户端测试

import requests
url = "http://localhost:8000/generate"
data = {"prompt": "Explain Docker deployment for LLMs", "max_tokens": 64}
response = requests.post(url, json=data).json()
print(response["outputs"][0]["text"])

六、性能调优与扩展

1. 批处理优化

在启动命令中添加 --batch-size 参数（如 --batch-size 8），根据 GPU 显存调整。

2. 多 GPU 并行

若有多块 GPU，设置 --tensor-parallel-size 为 GPU 数量（如 2），并确保模型权重分片存储。

3. 监控与日志

• 使用 docker logs vllm-deepseek 查看日志。
• 通过 nvidia-smi 监控 GPU 利用率。

七、常见问题与解决方案

1. 显存不足错误

• 原因：模型权重或批处理过大。
• 解决：减小 --batch-size，或使用量化模型（如 FP8）。

2. 容器启动失败

• 检查点：
  • GPU 驱动是否兼容（nvidia-smi 确认）。
  • 模型路径是否正确（进入容器检查 /models）。
  • 端口是否冲突（netstat -tulnp | grep 8000）。

3. 性能低于预期

• 优化建议：
  • 升级 GPU 驱动和 CUDA 版本。
  • 启用 TensorRT 加速（需修改 vLLM 配置）。

八、总结与展望

通过 Docker 部署 vLLM + DeepSeek-7B，开发者可快速构建高效、可扩展的大模型推理服务。未来可探索：

1. 模型量化：使用 FP8 或 INT8 减少显存占用。
2. 服务化：集成 Prometheus 和 Grafana 实现监控。
3. 多模型支持：在单个容器中加载多个模型（需调整 vLLM 配置）。

本文提供的方案经过实际验证，适用于从个人开发到企业级部署的多种场景。