配置 2× RTX PRO 6000 做双卡推理(vLLM TP2 / NCCL / PCIe all-reduce)时,服务双卡启动会直接卡死:两张卡的利用率挂在 100%,功耗却只有约 120 W——像 busy-wait,而不是真在算力上跑。dmesg 里同时反复出现 AMD-Vi IO_PAGE_FAULT。

根因是 AMD IOMMU 默认的翻译模式拦截了 GPU 与 GPU 之间的 peer DMA 写。把 IOMMU 切到 Passthrough 域后,问题消失。

测试环境

项目配置
主机RTXP6K-ROMED8-2T
系统Ubuntu 24.04.5 LTS
内核7.0.0-43-generic
CPUAMD EPYC 7B13 64 核(单 socket,1 个 NUMA 节点)
内存503 GB
GPU2 × NVIDIA RTX PRO 6000 Blackwell Workstation Edition,各 97887 MiB
驱动595.99.02
GPU 互联PCIe Gen4 x16,无 NVLink
网卡Mellanox ConnectX-4(rocep193s0)、Intel X550

nvidia-smi 里 pcie.link.gen.current 显示 1 是空闲省电降速,pcie.link.gen.max 为 4;有负载时会回到 Gen4 x16,不要据此判断链路异常。

现象与定位

观察项现象
nvidia-smi两卡利用率约 100%,功耗约 120 W
服务状态双卡启动卡死,单卡正常
内核日志反复出现 AMD-Vi IO_PAGE_FAULT

GPU↔GPU 的 peer DMA 走设备直连路径,不经过 CPU 拷贝。在默认 IOMMU 翻译域下,这类访问会被当成非法地址拦下,表现为大量页错误、进程挂起,同时 GPU 在等一个永远完不成的写操作。

拓扑也印证了这条路径是通的:

       GPU0  GPU1  NIC0
GPU0    X    NODE  NODE
GPU1   NODE   X    PHB
NIC0   NODE  PHB    X

GPU0–GPU1 是同 NUMA 内的 NODE 路径(可走 P2P),不是 PIX,也没有 NVLink。nvidia-smi topo -p2p r 在修复后两卡互访均为 OK。

改动步骤

  1. 先停掉卡住的服务(当时是 vllm-glm-fp4)。
  2. 备份 GRUB 配置:
sudo cp /etc/default/grub /etc/default/grub.bak-20261026
  1. 在 /etc/default/grub 的 GRUB_CMDLINE_LINUX_DEFAULT 中加入 iommu=pt。改动前该行大致是:
GRUB_CMDLINE_LINUX_DEFAULT="module_blacklist=nouveau cpuidle.off=1"

改动后当前生效的是:

GRUB_CMDLINE_LINUX_DEFAULT="module_blacklist=nouveau iommu=pt"
  1. 更新引导配置并重启:
sudo update-grub
sudo reboot

iommu=pt 的作用是让 IOMMU 使用 Passthrough 域,设备 DMA 直接使用物理地址而不做翻译,peer DMA 不再被拦截。

重启后的验证

检查项结果
/proc/cmdline含 iommu=pt
内核日志iommu: Default domain type: Passthrough (set via kernel command line)
IO_PAGE_FAULT0
GPU0 → GPU1 拷贝约 26 GB/s(接近 PCIe Gen4 x16 上限)
NCCL去掉 NCCL_P2P_DISABLE=1 后可正常初始化
vLLM all-reduce 路径选中 ['B12X_PCIE', 'PYNCCL']

26 GB/s 这个数字值得记:它说明 P2P 走的是真实 PCIe 链路带宽,而不是回落到主机内存中转。

2026-11-14 复核

当前启动周期(journalctl -k 记录时间 09:02:39)中:

iommu: Default domain type: Passthrough (set via kernel command line)
IO_PAGE_FAULT 计数: 0

同一台机器上正在运行一个 TP2 的推理实例作为实际验证——DeepSeek-V4.1-Flash-EXL3-3bpw,--tensor-parallel-size 2,262144 上下文,FP8 KV cache,双卡各占用约 91 GB 显存,空闲时利用率 0%、功耗 19 W / 7 W。也就是说双卡 all-reduce 路径在当前配置下是稳定可用的。

需要注意:该机器 kernel.dmesg_restrict=1,普通用户执行 dmesg 会报 read kernel buffer failed: Operation not permitted,要么加 sudo,要么改用 journalctl -k(adm 组成员可读)。

注意事项

  • iommu=pt 是为了 GPU P2P 和双卡 all-reduce,不是给 CX4 RDMA 专用的。
  • 重装系统或覆盖 /etc/default/grub 后需要重新加回该参数并 update-grub 重启;主机上现存的备份是 /etc/default/grub.bak-20261101。
  • 不要随手删掉这个参数再开双卡 TP,否则可能重新出现 IOMMU fault 和启动挂死。
  • 无 NVLink 的机器,TP2 的通信带宽上限就是 PCIe Gen4 x16,做吞吐评估时要按这个前提算。

快速自检命令

# 启动参数
cat /proc/cmdline | tr ' ' '\n' | grep iommu

# IOMMU 模式(dmesg_restrict=1 时用 journalctl)
sudo dmesg | grep -i 'Default domain type'
journalctl -k | grep -i 'Default domain type'

# 本次启动是否还有 IOMMU 页错误
journalctl -k -b 0 | grep -c IO_PAGE_FAULT

# GPU 拓扑与 P2P 状态
nvidia-smi topo -m
nvidia-smi topo -p2p r

IO_PAGE_FAULT 计数为 0、topo -p2p r 两卡互访为 OK,是判断修复是否真正生效的两条硬指标。