清华大学联合多校团队提出的 SKILLMASTER(SkillMaster)论文被 NeurIPS 2026 录用,这套框架最大的突破是把技能库管理交给 Agent 自身,不再依靠外部老师、固定脚本或者独立辅助模块来新增、修改技能;传统 Agent 只会调用提前写好的技能,而 SKILLMASTER 训练同一个大模型 Agent,在完成任务拿到交互轨迹之后自主判断,选择新建技能、修改已有技能或者维持技能库不变,搭配反事实效用奖励和 DualAdv-GRPO 优化算法,把任务执行、技能进化放进同一套强化学习循环,在 ALFWorld、WebShop 两个经典 Agent 测试环境上,相比之前最优基线分别提升 8.8%、9.3% 的任务成功率,是走向自进化智能体的一个关键方案。
SKILLMASTER 核心信息汇总
| 项目 | 详情 |
|---|---|
| 论文名称 | SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents |
| 会议 | NeurIPS 2026 |
| 研究团队 | 山东大学、中关村学院、清华大学、东南大学、中科大 |
| 核心能力 | Agent 自主完成技能创建、更新、保留、检索调用 |
| 三大核心模块 | 轨迹驱动技能审查、下游效用奖励、DualAdv-GRPO 联合优化 |
| 内置技能操作工具 | propose_skill(新建)、update_skill(更新)、keep_skill(保留) |
| 评测环境 | ALFWorld(居家交互)、WebShop(网页购物) |
| 性能提升 | ALFWorld+8.8%,WebShop+9.3% |
| 核心特点 | 技能管理和任务执行共用一套策略,不需要外部技能管理员 |
三大核心设计拆解
轨迹驱动技能审查,每一轮任务结束之后,Agent 拿到完整行动轨迹、任务结果、技能调用记录,自主做复盘决策,调用三个工具操作技能库。前期训练阶段 Agent 会高频新建、修改技能,随着技能库慢慢成熟,决策会更多变成 keep_skill,稳定沉淀有用的操作流程。
下游效用奖励用来判断一次技能修改到底有没有价值,它不是只看单次任务成败,而是做反事实对照:分别用修改前、修改后的技能库跑一批相似探测任务,好的技能改动要做到两点,让之前失败的任务更容易成功,让本来能完成的任务减少操作步骤,以此生成清晰的奖励信号。
DualAdv-GRPO 是改进版的 GRPO 算法,分开估算任务动作、技能编辑动作的优势值,分别归一化之后再更新策略,解决两类目标一起训练互相干扰、训练不稳定的问题,这也是这套方案能同时学好干活和自我改技能的关键。
Agent 完整运行步骤
- 任务执行阶段:收到用户目标,Agent 检索技能库,挑选合适技能,一步步执行交互动作,生成行动轨迹,记录成功或者失败结果。
- 技能复盘阶段:本轮任务结束,进入技能审查流程,读取全部轨迹信息,推理判断技能库是否需要调整。
- 技能变更执行:三选一调用工具,propose_skill 生成新技能、update_skill 改写旧技能、keep_skill 不改动技能库。
- 效用评估采样:自动挑选一批相关探测任务,对比新旧技能库表现,计算下游效用奖励。
- 策略更新:DualAdv-GRPO 根据任务奖励、技能效用奖励联合更新 Agent 策略。
- 下一轮复用:更新后的技能库直接参与后续任务检索调用,持续迭代沉淀可复用流程。
和过往 Agent 技能方案的差异
过去主流方案里,技能库是外部资产,由人工或者独立模型维护,Agent 只是被动检索调用,没有权限自主修改;就算有自动发现技能的方案,技能优化和任务执行也是两套独立模型,耦合差。
SKILLMASTER 把技能生命周期管理权内化给 Agent,同一个策略既负责干活,又负责沉淀、打磨自己的操作技能,训练后期技能库会自然收敛稳定,冗余、无效技能会被淘汰。
它也存在局限,当前验证只在模拟器环境做,真实复杂网页、机器人实体场景的稳定性、安全风险还需要进一步验证,Agent 自主修改技能也可能生成错误流程。
【相关 FAQ】
问题 1:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 和传统 Agent 技能方案最大区别是什么?
回答 1:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,传统 Agent 只能调用外部提前准备好的技能,SKILLMASTER 把技能创建更新能力训练进 Agent 自身策略,由 Agent 自主管理技能库。
问题 2:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 靠什么判断一次技能修改是有效的?
回答 2:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,依靠下游效用奖励做反事实对照测试,看改动能不能提升失败任务成功率、减少成功任务的执行步骤。
问题 3:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 在哪些测试集上做了效果验证?
回答 3:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,主要在 ALFWorld 居家交互、WebShop 网页购物两个 Agent 标准环境完成评测,相比基线有明显提升。
【参考资料】
[2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)新浪财经
[2026-11-16](SKILLMASTER:NeurIPS 2026 录用,LLM 智能体自主构建和迭代技能库)机器之心
[2026-09-30](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents)AlphaXiv
[2026-07-24](Self-tested skill edits beat teacher-curated skill banks by up to 9.3 points)SkillFed
[2026-05-09](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents)arXiv
【免责声明】
本文仅整理 NeurIPS 2026 SKILLMASTER 论文公开内容与行业解读,方案当前属于学术研究阶段,仅在模拟器环境验证;Agent 自主修改技能存在逻辑错误、安全风险,本文不构成大模型 Agent 项目开发、商用落地的直接建议。
本文来自作者[荒熵推演]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/4229.html
评论列表(4条)
我是新新网的签约作者“荒熵推演”!
希望本篇文章《NeurIPS 2026 SKILLMASTER支持 Agent 自主创建、更新与使用技能的训练框架》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:清华大学联合多校团队提出的 SKILLMASTER(SkillMaster)论文被 NeurIPS 2026 录用,这套框架最大的突破是把技能库管理交给 Agent 自