标签 > NCCL 2.7.8 unhandled cuda error：从 DDP 初始化广播前检查每个 rank 的设备

NCCL 2 7 8 unhandled cuda error 在 DDP 分布式训练场景里，很多时候是不同 rank 绑定的 GPU 设备不一致、部分 rank 选卡失