一篇 VLM(视觉语言模型)记忆机制的最新综述论文,提出了一套四维度分类框架,用 When、Where、What、How 来梳理当前所有 VLM 记忆方案,解决了不同记忆架构、不同论文成果很难横向对比的问题,适合做长视频理解、具身智能机器人、多轮长期对话的研发人员快速看懂 VLM 记忆的设计思路。传统 VLM 大多依赖上下文窗口,窗口一长就容易遗忘早期画面信息,而这套四维框架把记忆的时间范围、存储位置、存储内容、读写操作拆开分析,不管是上下文内短时记忆、向量库长期记忆、图结构记忆、实体记忆,都可以放进这个框架里归类,方便大家定位不同方案的优缺点和适用场景。
四个核心维度详细解读
When(时间维度:什么时候维持记忆)
- 短时记忆:在单次上下文窗口内,KV 缓存、长上下文 token 序列,只在当前会话生效,会话结束就清空
- 中期记忆:跨片段、跨视频分段,在同一场任务里持续保留,任务结束后可选择丢弃
- 长期记忆:跨多天、多轮会话、多任务持久保存,类似人类情景记忆,永久或长期留存
- 时序约束:区分事件先后顺序、时间间隔、发生先后关系,支持时序推理
Where(位置维度:记忆存在哪里)
- 模型原生上下文:直接塞进 Transformer 上下文窗口,不需要额外模块
- 外部向量数据库:把图文特征编码成向量,独立于模型主干,用检索调用
- 模型内部隐状态:在 VLM 网络层、KV 缓存里保存,属于模型内置记忆
- 结构化存储:场景图、实体图谱、事件表格,保存实体和空间关系
- 混合存储方案:短时放上下文,长期放外部库,两者配合
What(内容维度:记忆存什么信息)
- 原始观测:原始图片帧、视频片段、图像 patch、原始 token,保真度最高,占用空间大
- 语义摘要:文字总结、事件描述,压缩程度高,但是会丢失视觉细节
- 实体信息:物体身份、位置、属性、状态,适合机器人、场景跟踪
- 跨模态关联:画面 + 文字 + 动作绑定,把 “看到什么、说了什么、做了什么” 绑定成一条事件
- 规则与偏好:用户习惯、固定知识、任务流程,属于语义记忆
How(操作维度:记忆怎么读写更新)
- 写入:编码、压缩、摘要、实体绑定,把观测转为可存储记忆
- 检索:相似度检索、实体检索、时序检索、图遍历检索
- 更新:合并、修正、遗忘、权重衰减,过时信息自动弱化
- 融合:把检索回来的记忆和当前输入融合,交给 VLM 推理
- 遗忘策略:固定淘汰、重要性打分、时序衰减,避免记忆无限膨胀
VLM 记忆主流技术路线清单
- 长上下文原生 VLM:直接扩展上下文窗口,全部画面 token 塞进 prompt,优点是简单,缺点是算力开销巨大
- RAG 检索增强记忆:视频 / 图像编码存入向量库,提问时检索相关片段,是现在最主流方案
- 实体中心化记忆:以物体为核心建记忆,跟踪物体跨帧变化,适合机器人、视觉跟踪
- 图结构记忆:构建场景图、事件图,记录物体之间空间关系,适合复杂环境推理
- 隐状态记忆:修改模型内部 KV、隐藏层,在模型内部保留历史信息,不需要外部库
基于四维框架开发 VLM 记忆系统的步骤
- 先确定 When:明确任务需要短时、中期还是长期记忆,比如机器人导航一般需要长期实体记忆
- 选定 Where:算力充足优先上下文,要跨会话就搭配外部向量库,复杂空间场景选图存储
- 定义 What:确定是保留原始画面,还是只存摘要、实体属性,平衡精度和存储成本
- 设计 How:编写编码策略、检索方式、遗忘规则,控制记忆总量,防止幻觉和记忆过载
- 基准测试:在 MEMLENS 等 VLM 记忆评测集上做时序推理、跨会话问答、实体一致性测试
- 迭代调优:优化检索召回精度,减少无关记忆混入,降低幻觉,提升时序逻辑正确性
这套四维综述带来的研究价值
- 统一标尺:不同论文的记忆方案可以放到同一个框架对比,不再各说各话
- 工程指引:做具身智能、长视频 Agent 时,可以按四个维度做需求拆解,快速选型
- 指明短板:现在 VLM 记忆普遍存在时序推理弱、实体容易混淆、跨模态对齐出错、遗忘机制粗糙等问题
- 启发新方向:支持后续研究人员设计同时兼顾时序、实体、空间、长期持久的统一记忆系统
【相关 FAQ】
问题 1:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,四个维度分别是什么含义?
回答 1:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,When 代表记忆的时间范围,Where 代表记忆存储位置,What 代表记忆存储内容,How 代表记忆读写、检索、更新的操作机制。
问题 2:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,VLM 记忆最主流的实现方案是什么?
回答 2:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,RAG 检索增强记忆是目前落地最多的方案,搭配向量数据库存储历史图文信息,推理时检索相关内容。
问题 3:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,VLM 记忆主要用在哪些场景?
回答 3:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,主要用于长视频理解、多轮长期多模态对话、人形机器人具身智能、视觉导航、跨会话图文问答。
问题 4:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,VLM 记忆现在还有哪些难点?
回答 4:VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆,现存难点包括时序推理能力弱、跨帧实体容易混淆、记忆膨胀、检索混入无关信息、容易产生幻觉。
【参考资料】
[2026-07-16](Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications)Preprints.org
[2026-05-27](MEMLENS: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models)arXiv
[2025-12-04](The AI Hippocampus: How Far are We From Human Memory?)OpenReview
【免责声明】
本文内容仅为 AI 学术综述资讯整理,不构成模型开发、项目落地的技术承诺,论文完整定义、实验数据、基准指标请以原综述论文原文为准。
本文来自作者[铁序守核人]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/jqr/202611/3255.html
评论列表(4条)
我是新新网的签约作者“铁序守核人”!
希望本篇文章《VLM 记忆机制最新综述发布,从 When、Where、What、How 四维度解析视觉语言模型记忆》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:一篇 VLM(视觉语言模型)记忆机制的最新综述论文,提出了一套四维度分类框架,用 When、Where、What、How 来梳理当前所有 VLM 记忆方