一、基础检查：系统级GPU信息获取

1.1 Linux系统下的命令行工具

在Linux环境中，nvidia-smi是查看NVIDIA GPU状态的标准工具。通过SSH登录云服务器后，直接执行以下命令：

nvidia-smi

输出结果包含GPU型号、驱动版本、显存占用率、温度等核心信息。例如：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01    Driver Version: 515.65.01    CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla T4         On   | 00000000:00:1E.0 Off |                    0 |
| N/A   34C    P8     9W / 70W |      0MiB / 15109MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

若需更详细的信息，可添加-q参数：

nvidia-smi -q

此命令会显示每个GPU的详细参数，包括时钟频率、ECC错误计数、PCIe带宽等。

对于AMD GPU，可使用rocm-smi工具：

rocm-smi --showuse

输出示例：

GPU  Temp   AvgPwr  SCLK   MCLK   Fan  Perf  PwrCap  VRAM%  GPU%
0    55C    45W     1200MHz 900MHz 30%   auto   200W    15%    32%

1.2 Windows系统下的图形化工具

在Windows云服务器中，NVIDIA控制面板是直观的选择。右键点击桌面空白处，选择”NVIDIA控制面板” > “系统信息” > “组件”选项卡，即可查看GPU型号、驱动版本等基础信息。

若需实时监控，可使用任务管理器的”性能”选项卡。切换至”GPU”页面后，可同时查看多个GPU的利用率、显存占用、3D引擎负载等动态数据。

二、云平台控制台操作

2.1 主流云服务商的GPU查看方式

阿里云ECS

1. 登录ECS控制台，选择目标实例
2. 进入”监控”选项卡，切换至”GPU监控”子页面
3. 可查看GPU使用率、显存占用、温度等历史曲线
4. 通过”实例详情”页面可确认GPU型号（如V100、A100等）

腾讯云CVM

1. 在CVM控制台选择对应实例
2. 点击”监控”标签，选择”GPU监控”
3. 支持按分钟级粒度查看GPU计算利用率、显存带宽等指标
4. 实例详情页会显示GPU具体规格（如T4、A10等）

华为云ECS

1. 进入ECS控制台，选择目标服务器
2. 在”监控”面板中选择”GPU监控”
3. 可查看GPU使用率、温度、功耗等实时数据
4. 通过”规格详情”确认GPU类型（如P100、V100等）

2.2 API方式获取GPU信息

对于需要编程获取GPU信息的场景，各云平台均提供API接口。以阿里云为例：

import json
from aliyunsdkcore.client import AcsClient
from aliyunsdkecs.request.v20140526 import DescribeInstancesRequest
client = AcsClient('<access_key_id>', '<access_key_secret>', 'cn-hangzhou')
request = DescribeInstancesRequest.DescribeInstancesRequest()
request.set_accept_format('json')
response = client.do_action_with_exception(request)
instances = json.loads(response.decode())['Instances']['Instance']
for instance in instances:
    gpu_info = instance.get('GpuInfo')
    if gpu_info:
        print(f"实例ID: {instance['InstanceId']}")
        print(f"GPU型号: {gpu_info['GpuSpec']}")
        print(f"GPU数量: {gpu_info['GpuAmount']}")

三、进阶监控与故障排查

3.1 持续监控方案

对于长期运行的GPU计算任务，建议部署Prometheus+Grafana监控方案：

1. 在云服务器上安装Node Exporter和NVIDIA DCGM Exporter
2. 配置Prometheus抓取GPU指标
3. 使用Grafana创建可视化看板，实时监控：
   • GPU利用率（按核心/显存维度）
   • 温度变化趋势
   • 功耗曲线
   • PCIe带宽使用率

3.2 常见问题诊断

场景1：GPU利用率低但计算慢

1. 使用nvidia-smi dmon查看详细指标：

   nvidia-smi dmon -s p u m t -c 10

   输出示例：

   # gpu   pwr  temp  sm   mem   enc   dec
   # idx     W     C   %    %     %     %
   0     45    55   12    3     0     0
   1     50    60   15    5     0     0

2. 检查是否因显存碎片导致计算效率下降
3. 确认PCIe带宽是否饱和（lspci -vvv | grep -i lnksta）

场景2：GPU温度异常

1. 使用nvidia-smi -q -d TEMPERATURE查看详细温度数据
2. 检查风扇转速：nvidia-smi -q -d FAN
3. 若持续高温，考虑：
   • 检查散热系统是否正常工作
   • 调整GPU功率限制（nvidia-smi -pl 150）
   • 迁移任务至其他GPU节点

四、最佳实践建议

1. 定期健康检查：建议每周执行一次nvidia-smi -q全面检查，记录基准数据
2. 资源隔离：对于多租户环境，使用nvidia-cuda-mps实现GPU时间片隔离
3. 版本管理：保持GPU驱动与CUDA工具包的版本兼容性（参考NVIDIA官方兼容性矩阵）
4. 性能基准测试：新部署环境时，运行cuda-memtest和deeplearning-benchmarks验证GPU性能
5. 日志收集：配置/var/log/nvidia-installer.log和dmesg的定期收集，便于故障回溯

通过系统掌握上述方法，开发者能够全面掌控云服务器GPU的运行状态，从基础信息查看到深度性能分析，有效提升计算资源利用率和问题解决效率。在实际操作中，建议结合具体业务场景选择最适合的监控维度和工具组合，构建高效的GPU资源管理体系。