配置 2× RTX PRO 6000 做双卡推理(vLLM TP2 / NCCL / PCIe all-reduce)时,服务双卡启动会直接卡死:两张卡的利用率挂在 100%,功耗却只有约 120 W——像 busy-wait,而不是真在算力上跑。dmesg 里同时反复出现 AMD-Vi IO_PAGE_FAULT。
根因是 AMD IOMMU 默认的翻译模式拦截了 GPU 与 GPU 之间的 peer DMA 写。把 IOMMU 切到 Passthrough 域后,问题消失。
测试环境
| 项目 | 配置 |
|---|---|
| 主机 | RTXP6K-ROMED8-2T |
| 系统 | Ubuntu 24.04.5 LTS |
| 内核 | 7.0.0-43-generic |
| CPU | AMD EPYC 7B13 64 核(单 socket,1 个 NUMA 节点) |
| 内存 | 503 GB |
| GPU | 2 × NVIDIA RTX PRO 6000 Blackwell Workstation Edition,各 97887 MiB |
| 驱动 | 595.99.02 |
| GPU 互联 | PCIe Gen4 x16,无 NVLink |
| 网卡 | Mellanox ConnectX-4(rocep193s0)、Intel X550 |
nvidia-smi 里 pcie.link.gen.current 显示 1 是空闲省电降速,pcie.link.gen.max 为 4;有负载时会回到 Gen4 x16,不要据此判断链路异常。
现象与定位
| 观察项 | 现象 |
|---|---|
nvidia-smi | 两卡利用率约 100%,功耗约 120 W |
| 服务状态 | 双卡启动卡死,单卡正常 |
| 内核日志 | 反复出现 AMD-Vi IO_PAGE_FAULT |
GPU↔GPU 的 peer DMA 走设备直连路径,不经过 CPU 拷贝。在默认 IOMMU 翻译域下,这类访问会被当成非法地址拦下,表现为大量页错误、进程挂起,同时 GPU 在等一个永远完不成的写操作。
拓扑也印证了这条路径是通的:
GPU0 GPU1 NIC0
GPU0 X NODE NODE
GPU1 NODE X PHB
NIC0 NODE PHB XGPU0–GPU1 是同 NUMA 内的 NODE 路径(可走 P2P),不是 PIX,也没有 NVLink。nvidia-smi topo -p2p r 在修复后两卡互访均为 OK。
改动步骤
- 先停掉卡住的服务(当时是
vllm-glm-fp4)。 - 备份 GRUB 配置:
sudo cp /etc/default/grub /etc/default/grub.bak-20261026- 在
/etc/default/grub的GRUB_CMDLINE_LINUX_DEFAULT中加入iommu=pt。改动前该行大致是:
GRUB_CMDLINE_LINUX_DEFAULT="module_blacklist=nouveau cpuidle.off=1"改动后当前生效的是:
GRUB_CMDLINE_LINUX_DEFAULT="module_blacklist=nouveau iommu=pt"- 更新引导配置并重启:
sudo update-grub
sudo rebootiommu=pt 的作用是让 IOMMU 使用 Passthrough 域,设备 DMA 直接使用物理地址而不做翻译,peer DMA 不再被拦截。
重启后的验证
| 检查项 | 结果 |
|---|---|
/proc/cmdline | 含 iommu=pt |
| 内核日志 | iommu: Default domain type: Passthrough (set via kernel command line) |
IO_PAGE_FAULT | 0 |
| GPU0 → GPU1 拷贝 | 约 26 GB/s(接近 PCIe Gen4 x16 上限) |
| NCCL | 去掉 NCCL_P2P_DISABLE=1 后可正常初始化 |
| vLLM all-reduce 路径 | 选中 ['B12X_PCIE', 'PYNCCL'] |
26 GB/s 这个数字值得记:它说明 P2P 走的是真实 PCIe 链路带宽,而不是回落到主机内存中转。
2026-11-14 复核
当前启动周期(journalctl -k 记录时间 09:02:39)中:
iommu: Default domain type: Passthrough (set via kernel command line)
IO_PAGE_FAULT 计数: 0同一台机器上正在运行一个 TP2 的推理实例作为实际验证——DeepSeek-V4.1-Flash-EXL3-3bpw,--tensor-parallel-size 2,262144 上下文,FP8 KV cache,双卡各占用约 91 GB 显存,空闲时利用率 0%、功耗 19 W / 7 W。也就是说双卡 all-reduce 路径在当前配置下是稳定可用的。
需要注意:该机器 kernel.dmesg_restrict=1,普通用户执行 dmesg 会报 read kernel buffer failed: Operation not permitted,要么加 sudo,要么改用 journalctl -k(adm 组成员可读)。
注意事项
iommu=pt是为了 GPU P2P 和双卡 all-reduce,不是给 CX4 RDMA 专用的。- 重装系统或覆盖
/etc/default/grub后需要重新加回该参数并update-grub重启;主机上现存的备份是/etc/default/grub.bak-20261101。 - 不要随手删掉这个参数再开双卡 TP,否则可能重新出现 IOMMU fault 和启动挂死。
- 无 NVLink 的机器,TP2 的通信带宽上限就是 PCIe Gen4 x16,做吞吐评估时要按这个前提算。
快速自检命令
# 启动参数
cat /proc/cmdline | tr ' ' '\n' | grep iommu
# IOMMU 模式(dmesg_restrict=1 时用 journalctl)
sudo dmesg | grep -i 'Default domain type'
journalctl -k | grep -i 'Default domain type'
# 本次启动是否还有 IOMMU 页错误
journalctl -k -b 0 | grep -c IO_PAGE_FAULT
# GPU 拓扑与 P2P 状态
nvidia-smi topo -m
nvidia-smi topo -p2p rIO_PAGE_FAULT 计数为 0、topo -p2p r 两卡互访为 OK,是判断修复是否真正生效的两条硬指标。
评论
发表评论