技术
服务器上升级 NVIDIA VBIOS
刷 VBIOS 前必须卸掉 nvidia 相关模块，并确认 IPMI 写保护已关。每张卡单独备份，再按 index 逐张刷入。
NVIDIAVBIOSGPU
刷 VBIOS 前必须卸掉 nvidia 相关模块，并确认 IPMI 写保护已关。每张卡单独备份，再按 index 逐张刷入。
作业里 nvidia-smi 能看到全部八张卡，几乎总是同一个原因——cgroup 的设备约束没打开。
大部分排队时间过长的作业，问题不在集群忙，而在资源申请写得太随意。
三台机器、一个共享目录、一份 slurm.conf——把调度器真正跑起来需要的东西比想象中少，但每一步都不能糊弄。