NeurIPS 2026 SKILLMASTER支持 Agent 自主创建、更新与使用技能的训练框架

清华大学联合多校团队提出的 SKILLMASTER(SkillMaster)论文被 NeurIPS 2026 录用,这套框架最大的突破是把技能库管理交给 Agent 自身,不再依靠外部老师、固定脚本或者独立辅助模块来新增、修改技能;传统 Agent 只会调用提前写好的技能,而 SKILLMASTER 训练同一个大模型 Agent,在完成任务拿到交互轨迹之后自主判断,选择新建技能、修改已有技能或者维持技能库不变,搭配反事实效用奖励和 DualAdv-GRPO 优化算法,把任务执行、技能进化放进同一套强化学习循环,在 ALFWorld、WebShop 两个经典 Agent 测试环境上,相比之前最优基线分别提升 8.8%、9.3% 的任务成功率,是走向自进化智能体的一个关键方案。

SKILLMASTER 核心信息汇总

项目详情
论文名称SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents
会议NeurIPS 2026
研究团队山东大学、中关村学院、清华大学、东南大学、中科大
核心能力Agent 自主完成技能创建、更新、保留、检索调用
三大核心模块轨迹驱动技能审查、下游效用奖励、DualAdv-GRPO 联合优化
内置技能操作工具propose_skill(新建)、update_skill(更新)、keep_skill(保留)
评测环境ALFWorld(居家交互)、WebShop(网页购物)
性能提升ALFWorld+8.8%,WebShop+9.3%
核心特点技能管理和任务执行共用一套策略,不需要外部技能管理员

三大核心设计拆解

轨迹驱动技能审查,每一轮任务结束之后,Agent 拿到完整行动轨迹、任务结果、技能调用记录,自主做复盘决策,调用三个工具操作技能库。前期训练阶段 Agent 会高频新建、修改技能,随着技能库慢慢成熟,决策会更多变成 keep_skill,稳定沉淀有用的操作流程。

下游效用奖励用来判断一次技能修改到底有没有价值,它不是只看单次任务成败,而是做反事实对照:分别用修改前、修改后的技能库跑一批相似探测任务,好的技能改动要做到两点,让之前失败的任务更容易成功,让本来能完成的任务减少操作步骤,以此生成清晰的奖励信号。

DualAdv-GRPO 是改进版的 GRPO 算法,分开估算任务动作、技能编辑动作的优势值,分别归一化之后再更新策略,解决两类目标一起训练互相干扰、训练不稳定的问题,这也是这套方案能同时学好干活和自我改技能的关键。

Agent 完整运行步骤

  1. 任务执行阶段:收到用户目标,Agent 检索技能库,挑选合适技能,一步步执行交互动作,生成行动轨迹,记录成功或者失败结果。
  2. 技能复盘阶段:本轮任务结束,进入技能审查流程,读取全部轨迹信息,推理判断技能库是否需要调整。
  3. 技能变更执行:三选一调用工具,propose_skill 生成新技能、update_skill 改写旧技能、keep_skill 不改动技能库。
  4. 效用评估采样:自动挑选一批相关探测任务,对比新旧技能库表现,计算下游效用奖励。
  5. 策略更新:DualAdv-GRPO 根据任务奖励、技能效用奖励联合更新 Agent 策略。
  6. 下一轮复用:更新后的技能库直接参与后续任务检索调用,持续迭代沉淀可复用流程。

和过往 Agent 技能方案的差异

过去主流方案里,技能库是外部资产,由人工或者独立模型维护,Agent 只是被动检索调用,没有权限自主修改;就算有自动发现技能的方案,技能优化和任务执行也是两套独立模型,耦合差。

SKILLMASTER 把技能生命周期管理权内化给 Agent,同一个策略既负责干活,又负责沉淀、打磨自己的操作技能,训练后期技能库会自然收敛稳定,冗余、无效技能会被淘汰。

它也存在局限,当前验证只在模拟器环境做,真实复杂网页、机器人实体场景的稳定性、安全风险还需要进一步验证,Agent 自主修改技能也可能生成错误流程。

【相关 FAQ】

问题 1:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 和传统 Agent 技能方案最大区别是什么?

回答 1:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,传统 Agent 只能调用外部提前准备好的技能,SKILLMASTER 把技能创建更新能力训练进 Agent 自身策略,由 Agent 自主管理技能库。

问题 2:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 靠什么判断一次技能修改是有效的?

回答 2:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,依靠下游效用奖励做反事实对照测试,看改动能不能提升失败任务成功率、减少成功任务的执行步骤。

问题 3:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,SKILLMASTER 在哪些测试集上做了效果验证?

回答 3:NeurIPS 2026 SKILLMASTER 让 Agent 自主创建、更新与使用 Skill,主要在 ALFWorld 居家交互、WebShop 网页购物两个 Agent 标准环境完成评测,相比基线有明显提升。

【参考资料】

[2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)新浪财经

[2026-11-16](SKILLMASTER:NeurIPS 2026 录用,LLM 智能体自主构建和迭代技能库)机器之心

[2026-09-30](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents)AlphaXiv

[2026-07-24](Self-tested skill edits beat teacher-curated skill banks by up to 9.3 points)SkillFed

[2026-05-09](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents)arXiv

【免责声明】

本文仅整理 NeurIPS 2026 SKILLMASTER 论文公开内容与行业解读,方案当前属于学术研究阶段,仅在模拟器环境验证;Agent 自主修改技能存在逻辑错误、安全风险,本文不构成大模型 Agent 项目开发、商用落地的直接建议。

本文来自作者[荒熵推演]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/4229.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 荒熵推演
    荒熵推演 2026年11月18日

    我是新新网的签约作者“荒熵推演”!

  • 荒熵推演
    荒熵推演 2026年11月18日

    希望本篇文章《NeurIPS 2026 SKILLMASTER支持 Agent 自主创建、更新与使用技能的训练框架》能对你有所帮助!

  • 荒熵推演
    荒熵推演 2026年11月18日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 荒熵推演
    荒熵推演 2026年11月18日

    本文概览:清华大学联合多校团队提出的 SKILLMASTER(SkillMaster)论文被 NeurIPS 2026 录用,这套框架最大的突破是把技能库管理交给 Agent 自

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们