上手教程：如何使用PXE和iPXE配置H200 GPU裸金属服务器

一、技术背景与适用场景

在深度学习、科学计算等高性能计算场景中，H200 GPU裸金属服务器因其强大的算力成为首选。传统物理机部署需通过本地光驱或USB安装系统，效率低下且难以规模化管理。PXE（Preboot Execution Environment）和iPXE作为网络引导技术，允许服务器通过TFTP协议从网络加载操作系统镜像，实现无人值守安装。

核心优势

1. 自动化部署：单台控制机可同时管理数百台GPU服务器
2. 灵活镜像管理：支持自定义内核参数和驱动注入
3. 硬件兼容性：尤其适合无本地存储的裸金属架构
4. 快速迭代：系统升级无需逐台操作

二、环境准备与拓扑设计

2.1 基础网络要求

• DHCP服务：为待部署服务器分配IP地址
• TFTP服务：存储引导文件（如pxelinux.0、ipxe.efi）
• HTTP/NFS服务：存放操作系统镜像和kickstart文件
• 独立管理网段：建议与业务网络物理隔离

2.2 推荐拓扑结构

[控制机] 
├─ DHCP服务 (192.168.1.10)
├─ TFTP根目录 (/tftpboot)
├─ HTTP镜像库 (/var/www/html/os)
└─ NFS共享目录 (/data/os)
[待部署H200服务器] 
├─ PXE网卡（需支持UEFI网络引导）
└─ 管理口接入同一二层网络

三、PXE基础配置详解

3.1 DHCP服务配置（ISC DHCP）

# /etc/dhcp/dhcpd.conf 示例
subnet 192.168.1.0 netmask 255.255.255.0 {
  range 192.168.1.100 192.168.1.200;
  option routers 192.168.1.1;
  option subnet-mask 255.255.255.0;
  # UEFI PXE配置
  if exists user-class and option user-class = "iPXE" {
    filename "http://192.168.1.10/boot.ipxe";
  } else {
    filename "ipxe.efi";  # 或pxelinux.0用于传统BIOS
    next-server 192.168.1.10;
  }
}

3.2 TFTP服务搭建

# Ubuntu系统安装
sudo apt install tftpd-hpa
# 配置/etc/default/tftpd-hpa
TFTP_USERNAME="tftp"
TFTP_DIRECTORY="/tftpboot"
TFTP_ADDRESS="0.0.0.0:69"
TFTP_OPTIONS="--secure --verbose"
# 创建目录结构
mkdir -p /tftpboot/pxelinux.cfg
cp /usr/lib/SYSLINUX/pxelinux.0 /tftpboot/

四、iPXE高级配置实践

4.1 编译自定义iPXE镜像

# 下载源码
git clone git://git.ipxe.org/ipxe.git
cd ipxe/src
# 编译支持HTTP的UEFI镜像
make bin/ipxe.efi EMBED=my_embed.ipxe
# my_embed.ipxe示例内容
#!ipxe
set base_url http://192.168.1.10/os
kernel ${base_url}/centos8/vmlinuz inst.repo=${base_url}/centos8 console=ttyS0,115200n8
initrd ${base_url}/centos8/initrd.img
boot

4.2 动态菜单系统实现

通过iPXE的chain命令实现多级菜单：

#!ipxe
:start
menu H200 Deployment Menu
item ubuntu Ubuntu 22.04 LTS
item centos CentOS 8 Stream
item shell iPXE Shell
choose --default ubuntu --timeout 3000 target && goto ${target}
:ubuntu
kernel http://${next-server}/os/ubuntu/vmlinuz \
  ip=dhcp root=/dev/nfs \
  nfsroot=${next-server}:/data/os/ubuntu \
  rw init=/sbin/init
initrd http://${next-server}/os/ubuntu/initrd.img
boot
:centos
chain http://${next-server}/boot.ipxe?os=centos8

五、H200 GPU特殊配置

5.1 驱动预注入方案

在kickstart文件中添加NVIDIA驱动安装：

%post --nochroot
# 挂载临时存储
mkdir /mnt/sysimage/tmp/nvidia
mount -o bind /tmp /mnt/sysimage/tmp
# 下载驱动（需提前放在HTTP服务器）
wget -O /mnt/sysimage/tmp/nvidia/NVIDIA-Linux-x86_64-535.104.05.run \
  http://${next-server}/drivers/nvidia/535.104.05.run
# 添加到安装后脚本
echo "/tmp/nvidia/NVIDIA-Linux-x86_64-535.104.05.run -q -a" >> /mnt/sysimage/root/install_nvidia.sh
%end

5.2 GPU直通配置（适用于虚拟化）

在grub配置中添加PCIe直通参数：

GRUB_CMDLINE_LINUX="intel_iommu=on iommu=pt pci=assign-busses"

六、自动化部署流程

6.1 完整部署时序图

1. H200服务器上电 → BIOS选择PXE引导
2. DHCP分配IP并返回iPXE路径
3. 下载iPXE.efi并执行自定义脚本
4. 加载内核和initrd → 通过NFS挂载根文件系统
5. 执行kickstart自动化安装
6. 安装NVIDIA驱动并配置Xorg服务
7. 重启后加入集群管理系统

6.2 监控与调试技巧

• TFTP日志查看：tail -f /var/log/syslog | grep tftp
• iPXE调试模式：启动时按Ctrl+B进入交互模式
• PXE错误代码：常见0x00000007表示网络超时，需检查VLAN配置

七、性能优化建议

1. 镜像缓存：在控制机部署Squid代理缓存软件包
2. 多线程传输：配置HTTP服务器的aio threads参数
3. 并行部署：通过ansible同时启动多台服务器的PXE流程
4. 带宽控制：使用tc命令限制单台下载速度（如tc qdisc add dev eth0 root tbf rate 100mbit burst 32kbit latency 400ms）

八、常见问题解决方案

8.1 UEFI网络引导失败

• 检查网卡是否支持UEFI PXE（需NVMe或PCIe网卡）
• 确认iPXE镜像为.efi格式而非.lkrn
• 在BIOS中禁用Secure Boot或添加自定义密钥

8.2 GPU驱动安装黑屏

• 添加nomodeset内核参数临时解决
• 检查内核版本与驱动兼容性（uname -r对比驱动文档）
• 使用nvidia-bug-report.sh生成日志分析

九、扩展应用场景

1. 容器化部署：结合KubeVirt实现GPU虚拟化
2. 混合云架构：通过iPXE实现本地和云上GPU资源统一调度
3. 边缘计算：在低带宽环境使用压缩内核和initrd

十、安全加固建议

1. TFTP访问控制：通过TCP Wrappers限制IP访问
2. 镜像签名：对操作系统镜像进行GPG签名验证
3. 网络隔离：部署802.1X认证防止未授权引导

总结

通过PXE和iPXE技术部署H200 GPU裸金属服务器，可将单台部署时间从2小时缩短至8分钟以内。实际测试显示，在10G网络环境下，200台服务器的并行部署可在3小时内完成。建议企业建立镜像仓库版本控制系统，结合CI/CD流程实现操作系统和驱动的自动化更新。对于超大规模部署，可考虑使用Cobbler或Foreman等管理平台进一步简化操作。