这篇 NeurIPS 26 论文提出一个和主流思路不一样的结论：在大模型 RLVR、元强化学习、机器人控制这类依赖 rollout 采样的训练场景里，有限的 rollout 预算不应该优先砸在扩大 Transformer 模型规模、增加基座参数量上，而是投入到向前一步的风险预测模型 ICRPM（In-Context Risk Predictive Model），靠它提前预判策略更新之后任务的失败风险，筛选真正有训练价值的任务，在同等 rollout 开销下提升 RL 后训练收益，团队来自国防科大与清华。之所以风险预测的收益比堆 Transformer 更大，是传统方案有一个明显瓶颈：rollout 成本很高，不可能把所有 prompt、全部任务都跑一遍采样；旧版风险预测模型 RPM 只能拟合当前策略下的任务风险，模型更新之后风险分布立刻漂移，历史预测失效，经常浪费算力在简单任务上、漏掉高价值难样本；而 ICRPM 把最近一轮 “任务 - 风险” 记录作为上下文，直接预测策略更新一步之后的未来风险，它学习的不只是任务本身难度，还有难度随策略迭代变化的动态规律，不用额外生成 rollout 做预测。整套流程是沿用 MPTS 任务采样框架，替换里面的风险预测模块；每一轮训练前，用 ICRPM 预估每个候选任务在策略更新后的风险；根据预测结果做任务筛选，只给高价值任务分配 rollout 预算；执行 rollout、收集轨迹，更新主策略；再把本轮新的任务风险对加入上下文，给下一轮预测使用。这个方案的核心价值是算力分配优化，不是淘汰 Transformer 基座；基座模型够用之后，继续堆 Transformer 带来的边际收益递减，而精准的前向风险筛选可以直接减少无效采样，把有限 rollout 用在刀刃上。
新旧风险预测方案对比表
| 方案 | 预测对象 | 能否跟随策略迭代 | 是否额外消耗 rollout | 适用短板 |
|---|---|---|---|---|
| 传统 RPM 风险预测 | 当前策略下任务风险 | 不能，策略一变预测失效 | 不需要额外 rollout | 策略迭代快时预测严重过时，采样浪费 |
| ICRPM 上下文风险预测（本文） | 策略更新一步后的未来风险 | 可以，利用上下文跟踪策略状态 | 不需要额外 rollout | 需要稳定的任务 - 风险历史上下文，适合 RLVR、Meta-RL |
| 直接加大 Transformer 规模 | 提升基座模型能力 | 和风险筛选无关 | 模型推理、rollout 开销同步上涨 | 边际收益快速下降，预算容易被无效采样吃掉 |
ICRPM 任务筛选与 rollout 分配完整步骤
- 初始化：维护候选任务池，初始化上下文窗口，存放历史任务、rollout 结果、风险标签
- 预测阶段：ICRPM 读取上下文里最近的一批任务风险记录，对每一个待评估任务，预测策略更新之后的风险
- 预算分配：根据预测风险排序，只挑选高价值样本分配 rollout 配额，跳过低风险、已经掌握的简单任务
- 采样更新：对选中任务执行 rollout，采集轨迹数据，更新主 Transformer 策略
- 上下文滑动：把本轮新产生的（任务，真实风险）加入 ICRPM 上下文，淘汰久远旧记录，控制上下文长度
- 循环迭代：回到预测步骤，持续适配策略不断变化带来的风险分布漂移
方案亮点与局限
✅ 亮点
- 在不增加 rollout 总量的前提下，优化样本选择，提升 RLVR、Meta-RL、机器人鲁棒控制的训练效率
- 上下文式风险预测，能够跟踪策略迭代带来的分布变化，解决旧 RPM 的滞后问题
- 预算优化是正交改进，可以和 GRPO、RLVR 等主流大模型强化学习算法叠加使用
❌ 局限
- 前提是 Transformer 基座本身能力达标，如果基座太弱，再好的任务筛选也无法带来明显提升
- 依赖历史风险上下文，冷启动阶段缺少历史样本，预测效果较差
- 只解决 rollout 预算分配问题，不能消除基座模型本身的能力上限
- 论文结论是边际收益对比，不是说 Transformer 没有作用，只是预算优先顺序改变
【相关 FAQ】
问题 1：这篇 NeurIPS'26 论文说 rollout 预算优先投入风险预测向前一步，是不是不需要升级 Transformer？
回答 1：不是，rollout 预算优先投入风险前向预测，是指基座 Transformer 达到基础能力后，继续堆参数量的边际收益不如风险筛选；Transformer 依然是主策略，只是算力预算分配优先级改变，不是放弃 Transformer。
问题 2：NeurIPS'26 里 ICRPM 向前一步风险预测，和传统 RPM 风险预测有什么不一样？
回答 2：传统 RPM 只能预测当前策略下的任务风险，策略更新后就不准；ICRPM 利用上下文历史，预测策略更新一步之后的风险，能够跟踪策略迭代带来的风险漂移，减少 rollout 浪费。
问题 3：ICRPM 做风险预测，会不会额外增加大量 rollout 开销？
回答 3：不会，ICRPM 上下文风险预测不需要额外生成 rollout，它复用已经跑完 rollout 的历史任务风险记录，这也是它适合 rollout 预算紧张场景的关键。
问题 4：这篇 NeurIPS'26 提出的 rollout 预算分配思路，主要适合哪些训练场景？
回答 4：这套 rollout 预算优先风险前向预测的思路，主要适配大模型 RLVR 后训练、Meta-RL 元强化学习、机器人鲁棒策略训练这类 rollout 采样昂贵、策略持续迭代的场景。
【参考资料】
[2026-11-06]（rollout 预算最该花在哪？不是 Transformer，而是风险预测的向前一步｜NeurIPS'26）36 氪
[2026-11-06]（ICRPM In-Context Risk Predictive Model NeurIPS 26 论文解读）36 氪英文报道
[2026-11-06]（ICRPM：面向动态策略的上下文风险预测与 rollout 预算分配）arXiv 预印本
[2026-11-03]（RLVR 与自适应 rollout 采样：样本选择偏差与风险漂移问题综述）阿里云开发者社区
【免责声明】
本文为 NeurIPS'26 这篇 ICRPM 论文观点解读；论文结论是特定实验条件下的边际收益对比，不代表所有 RL 训练场景通用法则；rollout 预算分配效果受任务分布、策略更新速度、上下文窗口大小、基座模型能力共同影响；方案属于前沿学术研究成果，尚未大规模工业化落地，上线前需要自行复现验证。