本文按环境准备、模型下载、服务封装到量化与排障的顺序，梳理 DeepSeek 的本地化部署流程；部署之外，云端接口的调用成本按 token 计算，如果关注大模型相关的产品与活动，可以查看AI 大模型产品专题活动页。

一、环境准备：硬件与软件配置

1.1 硬件要求

DeepSeek模型对硬件资源的需求因版本而异。以DeepSeek-R1 670B版本为例，官方推荐配置为：

• GPU：8张NVIDIA A100 80GB（显存需求≥640GB）
• CPU：Intel Xeon Platinum 8380或同等性能处理器
• 内存：512GB DDR4 ECC内存
• 存储：2TB NVMe SSD（建议D盘预留至少1TB空间）

若资源有限，可选择轻量级版本（如DeepSeek-V2 7B），硬件需求可降低至：

• GPU：1张NVIDIA RTX 3090（24GB显存）
• 内存：64GB
• 存储：500GB SSD

1.2 软件依赖

安装前需准备以下软件：

• 操作系统：Ubuntu 22.04 LTS（推荐）或Windows 11（需WSL2）
• CUDA Toolkit：11.8或12.1版本（与GPU驱动匹配）
• cuDNN：8.9.5版本
• Python：3.10或3.11（推荐使用conda管理环境）
• PyTorch：2.1.0+cu118（通过pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装）

避坑提示：

• 避免混合使用不同版本的CUDA/cuDNN，可能导致运行时错误。
• Windows用户需通过WSL2运行Linux环境，或直接使用Docker容器（见下文）。

二、D盘安装：路径规划与权限配置

2.1 创建D盘工作目录

在D盘根目录下创建以下文件夹结构：

D:\
├── deepseek\
│   ├── models\         # 存放模型权重
│   ├── data\           # 存放数据集
│   ├── logs\           # 日志文件
│   └── outputs\        # 输出结果

操作步骤：

1. 打开文件资源管理器，右键D盘选择“新建”→“文件夹”。
2. 依次创建上述子目录，确保无中文或特殊字符。
3. 右键各文件夹→“属性”→“安全”→编辑权限，赋予当前用户完全控制权。

2.2 配置环境变量

将模型路径添加到系统环境变量：

1. 右键“此电脑”→“属性”→“高级系统设置”→“环境变量”。
2. 在“用户变量”中新建变量：
   • 变量名：DEEPSEEK_HOME
   • 变量值：D:\deepseek
3. 在“Path”变量中添加：%DEEPSEEK_HOME%\bin（若存在bin目录）。

避坑提示：

• 路径中避免空格或中文，否则可能导致模块加载失败。
• 修改后需重启终端或IDE使变量生效。

三、模型部署：从下载到运行

3.1 下载模型权重

通过官方渠道获取模型文件（以Hugging Face为例）：

# 创建conda环境
conda create -n deepseek python=3.10
conda activate deepseek

# 安装transformers库
pip install transformers accelerate

# 下载模型（以deepseek-v2-7b为例）
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "deepseek-ai/deepseek-v2-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir="D:/deepseek/models")
model = AutoModelForCausalLM.from_pretrained(model_name, cache_dir="D:/deepseek/models", torch_dtype="auto", device_map="auto")

避坑提示：

• 国内用户可能需配置代理或使用镜像源（如--index-url https://pypi.tuna.tsinghua.edu.cn/simple）。
• 下载大模型时建议使用wget或axel多线程工具加速。

3.2 启动Web服务

使用FastAPI构建可视化接口：

# app.py
from fastapi import FastAPI
from transformers import pipeline
import uvicorn

app = FastAPI()
generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)

@app.post("/generate")
async def generate_text(prompt: str):
    output = generator(prompt, max_length=200, do_sample=True)
    return {"text": output[0]["generated_text"]}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

启动服务：

pip install fastapi uvicorn
python app.py

可视化扩展：
通过Gradio构建交互界面：

# gradio_app.py
import gradio as gr

def generate(prompt):
    output = generator(prompt, max_length=200)[0]["generated_text"]
    return output

gr.Interface(fn=generate, inputs="text", outputs="text").launch()

四、Docker部署：隔离环境与一键运行

4.1 编写Dockerfile

# Dockerfile
FROM nvidia/cuda:11.8.0-base-ubuntu22.04

RUN apt-get update && apt-get install -y \
    python3-pip \
    git \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /app
COPY . /app

RUN pip install --no-cache-dir -r requirements.txt

ENV DEEPSEEK_HOME=/app/models
CMD ["python", "app.py"]

4.2 构建并运行容器

# 构建镜像
docker build -t deepseek .

# 运行容器（挂载D盘）
docker run -it --gpus all -v D:/deepseek:/app/models -p 8000:8000 deepseek

避坑提示：

• Windows需在Docker Desktop中启用“Use the WSL 2 based engine”。
• 确保NVIDIA Container Toolkit已安装（docker run --gpus all依赖）。

五、性能优化与监控

5.1 量化与蒸馏

对大模型进行8位量化以减少显存占用：

from transformers import BitsAndBytesConfig

quant_config = BitsAndBytesConfig(
    load_in_8bit=True,
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=quant_config,
    device_map="auto"
)

5.2 监控工具

使用nvtop监控GPU使用率：

# Ubuntu安装
sudo apt install nvtop

# 运行监控
nvtop

或通过PyTorch的logging模块记录推理时间：

import time

start = time.time()
output = generator(prompt)
print(f"Inference time: {time.time()-start:.2f}s")

六、常见问题与解决方案

服务上线后，请求量会直接转化为 token 消耗；如果希望以套餐方式获取大模型 token，个人开发者可以看Token plan 个人版购买页。

6.1 CUDA内存不足

现象：CUDA out of memory
解决方案：

• 减小max_length参数。
• 启用梯度检查点（gradient_checkpointing=True）。
• 使用torch.cuda.empty_cache()清理缓存。

6.2 模型加载失败

现象：OSError: Can't load weights
解决方案：

• 检查模型路径是否包含中文或空格。
• 确保transformers版本与模型兼容（如pip install transformers==4.35.0）。

6.3 端口冲突

现象：Address already in use
解决方案：

• 修改app.py中的端口号（如port=8001）。
• 终止占用端口的进程：
  ```bash
  # Linux
  sudo lsof -i :8000
  kill -9 <PID>

# Windows
netstat -ano | findstr 8000
taskkill /PID <PID> /F
```

七、总结与扩展

本文详细介绍了从环境准备到可视化部署的全流程，重点解决了以下问题：

1. D盘安装：通过路径规划与权限配置避免存储问题。
2. 可视化构建：集成FastAPI与Gradio实现交互界面。
3. 避坑指南：覆盖硬件兼容性、模型加载、端口冲突等高频问题。

下一步建议：

• 尝试微调（Fine-tuning）模型以适应特定领域。
• 部署多模型服务（如同时运行DeepSeek与LLaMA）。
• 结合LangChain构建智能体应用。

通过本文的指导，开发者可高效完成DeepSeek的本地化部署，为后续研发奠定基础。

购买入口说明

以下链接直接进入购买页面，不是介绍页，下单前请自行核对内容与金额；想先了解平台能力，可以查看千帆大模型产品详情页。

• 个人版 Token 购买（面向个人开发者）：千帆大模型个人版 token 购买页。
• 企业版 Token 购买（面向企业团队）：千帆大模型企业版 token 购买页。
• Token 福利包（通用积分，支持叠加购买，用于通用模型调用、搜索等工具调用、OCR 等能力调用）：Token 福利包购买页。
• 通用资源点（可在百度搭子、百度秒哒、百度胜算、百度伐谋之间跨产品抵扣）：通用资源点购买页。