一、环境准备与前置检查

1.1 硬件兼容性验证

NVIDIA GPU是运行CUDA的核心基础，需通过nvidia-smi命令确认显卡型号及驱动状态。执行该命令后，界面会显示GPU型号（如RTX 3090）、CUDA版本（如11.7）及显存占用情况。若提示”command not found”，说明驱动未正确安装。

1.2 系统要求确认

CUDA 12.x系列要求Ubuntu 20.04/22.04 LTS或CentOS 7/8，Windows 10/11需更新至20H2版本以上。内存建议不低于8GB，磁盘空间需预留15GB用于安装。通过lsb_release -a（Linux）或winver（Windows）可快速查看系统版本。

1.3 驱动版本匹配

访问NVIDIA官网驱动下载页面，根据显卡型号（如GeForce/Quadro系列）选择对应驱动。例如RTX 4090需安装535.xx版本以上驱动。安装前建议彻底卸载旧驱动：

sudo apt-get purge nvidia*  # Ubuntu
sudo dnf remove nvidia-*    # CentOS

二、CUDA工具包安装全流程

2.1 下载方式选择

NVIDIA提供三种下载途径：

• 网络安装器：wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
• 本地安装包：下载.deb或.run文件（如cuda_12.2.2_535.104.05_linux.run）
• 仓库安装：添加PPA源后通过apt安装

推荐使用网络安装器，可自动解决依赖关系。下载后需验证SHA256校验和：

sha256sum cuda-ubuntu2204.pin

2.2 安装过程详解

以.run文件为例，执行前需关闭X服务器：

sudo service gdm stop  # Ubuntu
sudo init 3            # CentOS进入文本模式

赋予执行权限并运行：

chmod +x cuda_*.run
sudo ./cuda_*.run --override

安装向导中需注意：

• 取消勾选Driver选项（若已单独安装）
• 接受许可证协议
• 设置符号链接路径（默认/usr/local/cuda）

2.3 环境变量配置

编辑~/.bashrc文件，在末尾添加：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

执行source ~/.bashrc使配置生效。验证安装：

nvcc --version  # 应显示CUDA版本

三、DeepSeek的GPU调用配置

3.1 框架选择与版本匹配

DeepSeek支持PyTorch和TensorFlow两种框架：

• PyTorch：需安装GPU版本pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu117
• TensorFlow：pip3 install tensorflow-gpu==2.12.0（需CUDA 11.8）

版本对应关系：
| CUDA版本 | PyTorch版本 | TensorFlow版本 |
|—————|——————|————————|
| 11.7 | 1.13.x | 2.10.x |
| 12.1 | 2.0.x | 2.12.x |

3.2 代码级配置示例

在PyTorch中检测GPU可用性：

import torch
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(f"Using device: {device}")
print(f"GPU Name: {torch.cuda.get_device_name(0)}")

TensorFlow的GPU配置：

import tensorflow as tf
gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

3.3 性能优化技巧

• 批处理大小：根据显存调整（如RTX 3090建议batch_size=64）
• 混合精度训练：

  from torch.cuda.amp import autocast, GradScaler
  scaler = GradScaler()
  with autocast():
    outputs = model(inputs)

• CUDA流：通过多流并行提升数据传输效率

四、常见问题解决方案

4.1 驱动冲突处理

若出现NVIDIA-SMI has failed错误，可能是nouveau驱动冲突。需在GRUB中添加nouveau.modeset=0参数，然后更新initramfs：

sudo update-initramfs -u  # Ubuntu
sudo dracut --force       # CentOS

4.2 依赖缺失解决

安装时提示libnccl.so.2缺失，需安装NCCL库：

sudo apt-get install libnccl2 libnccl-dev  # Ubuntu
sudo yum install libnccl libnccl-devel     # CentOS

4.3 版本不兼容处理

当PyTorch报错CUDA version mismatch时，需重新安装匹配版本：

pip uninstall torch
pip install torch==1.13.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117

五、验证与测试流程

5.1 基准测试工具

使用cuda-samples中的设备查询程序：

cd /usr/local/cuda/samples/1_Utilities/deviceQuery
make
./deviceQuery

预期输出应包含”Result = PASS”。

5.2 DeepSeek模型测试

运行官方提供的测试脚本，监控GPU利用率：

watch -n 1 nvidia-smi
python deepseek_test.py --use_gpu

正常情况显存占用应随模型加载逐步上升。

5.3 日志分析要点

检查/var/log/nvidia-installer.log（安装日志）和框架输出的警告信息。特别注意：

• CUDA out of memory：减小batch_size
• CUDA error: device-side assert：检查数据标注
• invalid device function：确认架构兼容性

本教程完整覆盖了从环境检查到模型部署的全流程，通过分步骤说明和代码示例，确保即使是非专业用户也能完成配置。实际部署时建议先在测试环境验证，再迁移到生产环境。对于企业用户，可考虑使用Docker容器化部署（如nvidia/cuda:12.2.2-base镜像）以提升环境一致性。