在具身智能、机器人仿真训练代码里遇到 element 0 of tensors does not require grad，这个报错代表你用来计算观测损失的张量没有开启梯度计算，最典型场景就是机器人执行动作之后拿到的观测数据不参与计算图，损失算完之后没法自动反传梯度更新网络参数。之所以会出现这个问题，大多是因为机器人步进、环境 step 这一步把计算图断掉了，仿真环境返回的观测默认是脱离梯度的叶子张量，还有 with torch.no_grad ()、tensor.detach ()、numpy 转换、环境底层不支持自动微分这些情况，都会让观测张量失去 requires_grad 标记。整套排查修复流程，第一步先打印张量的 requires_grad 属性，确认机器人动作后的观测张量是否保留梯度；第二步定位哪里把计算图切断，去掉 detach、no_grad、转 numpy 这类操作；第三步确认环境是否支持可微分仿真，不可微分环境就要用其他方式构造梯度；第四步重新构建损失，调用 backward () 测试反向传播。综合来看，这个报错本质是计算图断裂，想要机器人动作后的观测损失正常反传，核心就是保证从网络输出动作、环境前向、观测取值、损失计算整条链路的张量都保留梯度。
一、报错触发场景清单
| 场景 | 问题说明 |
|---|---|
| env.step (action) 返回观测默认 detach | 普通 Gym、MuJoCo 等传统仿真环境，step 返回的观测不带梯度，计算图断开 |
| 代码里写了 detach () /.cpu () /.numpy () | 观测张量一旦转 numpy，梯度直接丢失，无法回传 |
| 外层包裹 with torch.no_grad () | 上下文内所有张量关闭梯度，损失无法反传 |
| 动作是从离线缓存、回放 buffer 读取 | 回放数据默认不带梯度，只能用来做离线训练，不能直接在线反传 |
| 自定义环境返回新叶子张量 | 每次 step 新建张量，和前面策略网络的计算图没有关联 |
二、快速检测代码片段
print(obs.requires_grad) 机器人动作后的观测
print(loss.requires_grad)
print(obs.grad_fn)
正常可以反传的 obs，requires_grad 为 True，并且 grad_fn 不为 None。
三、分步排查操作
- 定位报错对应的观测张量，打印 requires_grad、grad_fn，确认梯度是否丢失
- 向上回溯代码，看机器人动作执行、env.step 前后有没有 detach、numpy、no_grad
- 如果是普通不可微分仿真环境：不能直接用观测损失反传，改用强化学习的奖励梯度、或者用可微分仿真引擎（DiffSim、Brax 等）
- 如果是可微分环境：保证 action 张量原样传入 step，不要做任何截断操作
- 重构损失计算链路，保证损失依赖的张量全部在同一张计算图内，再执行 loss.backward ()
四、方案选型对比
- 普通 Gym/MuJoCo（不可微分）：观测 obs 无梯度，不能直接用观测损失反传，改用 RL 奖励、判别式损失、世界模型重构方案
- Brax / DiffSim / 可微分仿真：step 支持自动微分，只要不截断张量，机器人动作后的观测损失可以正常反传
- 回放缓冲区数据：buffer 里存的一般是 detach 后的观测，只适合离线学习，不适合在线梯度回传
五、避坑要点
- 不要把仿真环境返回的观测随便转 numpy，这是最常见切断梯度的操作
- with torch.no_grad () 一般用于评估、采样，训练阶段计算损失的链路不能套这个
- 哪怕 obs.requires_grad=True，如果中间某个环节 grad_fn 消失，依然无法反传
- 这个报错和损失函数本身无关，根源是张量链路断裂，不是 loss 写法问题
【相关 FAQ】
问题 1：element 0 of tensors does not require grad，机器人动作后的观测损失为什么不能自动反传？
回答 1：element 0 of tensors does not require grad，机器人动作后的观测损失不能自动反传，是因为机器人 step 之后拿到的观测张量脱离了计算图、requires_grad=False，梯度链路被切断。
问题 2：element 0 of tensors does not require grad，机器人动作后的观测怎么检查是否带梯度？
回答 2：element 0 of tensors does not require grad，机器人动作后的观测可以打印 obs.requires_grad 和 obs.grad_fn，判断张量是否保留梯度、是否属于计算图内节点。
问题 3：element 0 of tensors does not require grad，普通 MuJoCo 仿真里机器人动作后的观测损失能反传吗？
回答 3：element 0 of tensors does not require grad，普通 MuJoCo 属于不可微分仿真，机器人动作后的观测不带梯度，观测损失无法直接自动反传，要换成可微分仿真或者强化学习方案。
问题 4：element 0 of tensors does not require grad，哪些操作会让机器人动作后的观测丢失梯度？
回答 4：element 0 of tensors does not require grad，detach ()、转 numpy、with torch.no_grad ()、环境返回新建叶子张量，都会让机器人动作后的观测丢失梯度，损失无法反传。
【参考资料】
[2026-11-08]（PyTorch element 0 of tensors does not require grad 梯度链路排查）PyTorch Discuss
[2026-10-16]（具身智能可微分仿真：观测、动作、梯度回传原理）Brax 官方文档
[2026-09-10]（Gym 环境 step 返回张量梯度丢失问题总结）arXiv 具身智能开源项目文档
【免责声明】
本文内容基于 PyTorch 自动微分、机器人仿真训练通用经验整理，element 0 of tensors does not require grad、机器人动作后的观测损失不能自动反传属于通用排错思路；不同仿真引擎、RL 框架、世界模型代码结构差异较大，方案仅作调试参考，不保证适配所有具身智能机器人脚本。