遇到 nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 报错，核心原因是送入 NLLLoss 的标签张量数据类型是 int32（Int），CUDA 后端的 2D nll_loss 算子只支持 int64（long）类型标签，标签类型不匹配，GPU 核函数没有实现 int32 版本的索引分支，直接抛出异常。很多场景里，从 DataLoader 读出、或者用 torch.tensor 直接构造标签时，默认生成 int32；CPU 上运行有时候能跑，切换到 CUDA 显卡就立刻报错，这是很典型的 CPU/GPU 算子支持差异；解决办法就是把标签 tensor 显式转成 torch.long 也就是 int64 类型，再传入 loss 计算，logits 输入一般是 float 类型，不受这个限制。
数据类型对照
| 类型 | 对应 dtype | NLLLoss CUDA 是否支持 |
|---|---|---|
| int32 | torch.int / torch.int32 | ❌ 不支持，触发报错 |
| int64 | torch.long / torch.int64 | ✅ 支持，推荐 |
排查 & 修复步骤清单
- 打印标签张量类型，确认问题：
print(target.dtype)
- 转换类型，示例写法：
方式1：调用long()
target = target.long()
方式2：指定dtype
target = target.to(dtype=torch.int64)
- 完整示例：
loss_fn = torch.nn.NLLLoss()
logits = torch.randn(32, 10).log_softmax(dim=-1)
target = torch.randint(0, 10, (32,), dtype=torch.int32).cuda()
target = target.long()
loss = loss_fn(logits, target)
- 检查数据集、collate_fn 内部，确认标签生成时不要固定为 int32
- 依然报错：核对标签取值范围，标签不能小于 0、不能大于类别数 - 1
容易踩坑的补充说明
- CPU 环境下 NLLLoss 对 int32 标签宽容度更高，容易出现 “CPU 能跑、上 GPU 就崩”
- CrossEntropyLoss 底层同样调用 NLLLoss，所以这个报错在 CrossEntropyLoss 也会出现
- logits（输入）是浮点型，不需要转 long；只有 target 标签需要 int64
- 不要和 one-hot 标签混淆：NLLLoss/CrossEntropyLoss 接收的是类别索引，不是独热编码
【相关 FAQ】
问题 1：nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 报错，是不是 logits 类型错了？
回答 1：nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 报错和 logits 无关，是类别标签为 int32，CUDA 算子要求标签必须是 int64 (long)。
问题 2：为什么 CPU 上跑 NLLLoss 正常，切到 GPU 就报这个 nll_loss 错误？
回答 2：CPU 后端对 int32 标签兼容，CUDA 的 nll_loss_forward_reduce_cuda_kernel_2d 没有实现 int32 索引分支，所以标签不是 int64 就会在 GPU 上报错。
问题 3：CrossEntropyLoss 也会触发 nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 吗？
回答 3：CrossEntropyLoss 内部封装了 NLLLoss，标签如果是 int32，同样会触发这个报错，同样需要把类别标签转为 int64。
问题 4：把标签转成 int64 之后，还需要检查别的内容吗？
回答 4：标签转为 int64 解决 nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 之后，还要确认标签数值合法，标签索引不能超出类别范围、不能为负数。
【参考资料】
[2026-11-09]（nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 标签 dtype 问题）CSDN
[2026-11-09]（PyTorch NLLLoss target dtype 要求文档）PyTorch Docs
[2026-11-08]（CrossEntropyLoss GPU 标签 int32 报错）Stack Overflow
【免责声明】
本内容针对 nll_loss_forward_reduce_cuda_kernel_2d_index not implemented for Int 报错，以标签转为 int64 为核心修复方案；不同 PyTorch 版本、CUDA 版本的算子实现细节略有差异；除类型外，标签越界、维度不匹配也会造成 loss 报错，本文仅针对该特定类型报错场景。