NeurIPS 2026 Spotlight | 西工大提出ROSE多模态终身知识编辑新范式

西北工业大学团队的 ROSE 方案被 NeurIPS 2026 接收为 Spotlight 论文,它专门解决多模态大模型在持续更新知识时容易出现的灾难性遗忘、编辑局部性破坏问题,属于多模态终身知识编辑方向的新框架。现在很多多模态大模型做知识修改的时候,每新增或者修改一条图文事实,都会干扰之前已经编辑好的内容,改的次数一多,模型原本学会的基础能力和旧知识就容易乱掉、被覆盖,ROSE 的核心思路就是 “先规划子空间,再融合知识”,把每一次参数更新限制在之前编辑子空间的正交补空间里面,再搭配风险引导掩码保护重要参数区域,减少新旧编辑之间互相干扰。整套流程分成编辑阶段和推理阶段两大部分,编辑的时候用正交子空间导航 + 动态风险掩码锁定需要保护的参数;推理阶段采用多粒度知识融合策略,依靠原型锚定语义门控、扰动驱动子空间融合,只有匹配的查询才会触发新编辑的知识,无关输入会走模型原本稳定的主干能力。论文在两套主流多模态评测基准上做了测试,在五个评价指标上达到同期主流方法水平,并且可以稳定支持连续 1000 次知识更新,不会明显崩坏,代码已经开源。

ROSE 全称与核心定位

  • 全称:Risk-Aware Orthogonal Subspace Navigation(风险感知正交子空间导航框架)
  • 任务目标:多模态大模型终身知识编辑(图文事实持续修改、新增、更正)
  • 论文等级:NeurIPS 2026 Spotlight
  • 所属单位:西北工业大学计算机学院、西工大深圳研究院
  • 开源地址:https://github.com/sunlitsong/ROSE

两大阶段工作流程清单

  1. 编辑阶段(子空间导航 + 风险掩码)
  2. 将本次知识更新的参数变化约束到历史编辑子空间的正交补空间,避免覆盖旧编辑
  3. 动态计算风险掩码,识别并保护对模型基础能力、已有事实至关重要的参数子空间
  4. 只在安全区域内更新参数,降低遗忘和局部性侵蚀
  5. 推理阶段(多粒度知识融合)
  6. 原型相似度判断输入查询和已编辑知识是否相关
  7. 原型锚定语义门控:相关请求激活编辑后的知识子空间
  8. 扰动驱动子空间融合;不相关请求直接走原始预训练主干,不被编辑内容干扰

解决的两个核心痛点

  • 灾难性遗忘:多次连续编辑之后,模型忘掉之前已经修改好的知识
  • 局部性侵蚀:编辑的知识容易 “误触发”,无关图文提问也会错误输出被修改后的内容

【相关 FAQ】

问题 1:西工大提出的 ROSE 多模态终身知识编辑新范式,主要用来解决什么问题?

回答 1:西工大提出的 ROSE 多模态终身知识编辑新范式,主要解决多模态大模型持续多次编辑知识时出现的灾难性遗忘、局部性侵蚀问题,避免每次更新图文事实后干扰之前已经编辑好的内容和模型原生能力。

问题 2:ROSE 多模态终身知识编辑框架的核心原理是什么?

回答 2:ROSE 多模态终身知识编辑框架核心是正交子空间导航,把每一次参数更新限定在历史编辑子空间的正交补空间,搭配动态风险掩码保护关键参数,推理时用原型门控选择性激活编辑知识,减少无关输入被影响。

问题 3:ROSE 在多模态终身知识编辑的实验上限是多少次连续更新?

回答 3:根据论文实验结果,ROSE 做多模态终身知识编辑可以稳定支撑连续 1000 次顺序知识更新,在多次编辑后依旧维持不错的模型效果。

问题 4:ROSE 这套多模态终身知识编辑方案有没有开源代码?

回答 4:ROSE 这套多模态终身知识编辑方案已经开源,项目地址在https://github.com/sunlitsong/ROSE,开发者可以获取代码复现和二次开发。

【参考资料】

[2026-11-22](NeurIPS 2026 Spotlight | 西工大提出 ROSE:多模态终身知识编辑新范式)机器之心

[2026-11-06](ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models)arXiv

[2026-11-05](西北工业大学 ROSE 多模态终身知识编辑论文入选 NeurIPS 2026 Spotlight)AI 研究速递

【免责声明】

本文内容基于 NeurIPS 2026 预印论文与公开技术报道整理,ROSE 多模态终身知识编辑相关效果结论均来自论文实验环境,不同基座多模态模型、不同数据集下效果存在差异,内容仅用于技术科普,不代表落地保证,不构成项目选型依据。

本文来自作者[碳境分发员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/5265.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 碳境分发员
    碳境分发员 2026年11月22日

    我是新新网的签约作者“碳境分发员”!

  • 碳境分发员
    碳境分发员 2026年11月22日

    希望本篇文章《NeurIPS 2026 Spotlight | 西工大提出ROSE多模态终身知识编辑新范式》能对你有所帮助!

  • 碳境分发员
    碳境分发员 2026年11月22日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 碳境分发员
    碳境分发员 2026年11月22日

    本文概览:西北工业大学团队的 ROSE 方案被 NeurIPS 2026 接收为 Spotlight 论文,它专门解决多模态大模型在持续更新知识时容易出现的灾难性遗

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们