浙江大学和联想研究院团队联合提出 EM²Mem 事件中心多模态记忆框架，已经被 EMNLP 2026 接收，这套方案改变了传统多模态记忆先检索、后对齐的思路，换成先对齐、后检索，把视频帧、字幕、OCR 文本、实体关系等不同模态信息绑定在同一个事件锚点上打包存储，解决多模态智能体处理长视频、长时序任务时，记忆碎片零散、跨模态对齐困难、检索推理开销大的痛点。现在很多多模态记忆方案是把画面、文字、音频拆成独立片段单独存，查询的时候 AI 要自己临时把碎片信息拼在一起，不仅容易拼错、丢失时序关联，还会消耗大量 token、拉高推理延迟；EM²Mem 会在记忆构建阶段就把同一个事件里的图像、文本、时间线、实体关系、来源证据打包成一个记忆单元，检索的时候直接读取完整事件，不需要模型现场重新对齐跨模态信息，在三项长视频问答基准测试里，相比之前最优基线，准确率分别提升 2.0、2.4、3.7 个点，事件级证据召回提升 7 个点，推理延迟降低 4.67 倍，token 总量减少 63.66%。该方案属于 LightMem 系列记忆体系的一部分，代码后续会整合进 LightMem 开源仓库，适合长视频理解、具身智能体、穿戴设备流式多模态记忆这类场景。
一、EM²Mem 基础信息清单
- 方案名称：EM²Mem（Event-Centric Multimodal Memory）
- 研发团队：浙江大学 + 联想研究院
- 收录会议：EMNLP 2026 Findings
- 核心范式：先对齐，后检索（Align-then-Retrieve）
- 存储单元：事件锚点记忆单元，绑定多模态证据、时序、关系、溯源信息
- 配套项目：LightMem 开源记忆体系
- 核心指标：召回提升 7.0 点，推理延迟 ×4.67 加速，token 减少 63.66%
- 适用场景：长视频问答、多模态 Agent、穿戴设备流式记忆、具身智能
二、传统多模态记忆 vs EM²Mem 事件中心记忆对比表
| 项目 | 传统碎片化多模态记忆 | EM²Mem 事件中心记忆 |
|---|---|---|
| 处理范式 | 先检索碎片，模型推理时再对齐模态 | 构建记忆时完成对齐，检索直接读取完整事件 |
| 存储形式 | 单独存放帧、字幕、摘要、知识图谱事实 | 以事件为锚点，打包全部关联多模态证据 |
| 推理开销 | token 消耗高、延迟高，依赖模型现场拼接 | 证据已经对齐，读取成本低，token 大幅节省 |
| 时序关联 | 容易丢失事件先后、因果关系 | 自带时间轴，事件边界清晰 |
| 溯源能力 | 碎片来源分散，定位证据难 | 每个记忆单元附带来源溯源信息 |
三、EM²Mem 完整工作流程
- 事件分割：把连续视频或者多模态流切分成独立事件片段，生成事件锚点
- 跨模态对齐：将画面帧、字幕、OCR、实体、动作关系绑定到对应事件锚点
- 记忆入库：形成结构化事件记忆单元，存入外部记忆库
- 检索匹配：用户提问时，检索匹配相关事件单元，而不是零散文本或画面
- 送入大模型：直接把对齐好的事件证据交给模型做推理输出
四、EM²Mem 优势与局限
✅ 优势清单
- 事件为核心组织记忆，天然适配长时序视频、连续交互的智能体任务
- 前置对齐，减少大模型推理阶段的拼接负担，显著降 token、降延迟
- 证据绑定溯源，方便核验回答依据，降低幻觉风险
- 兼容图文、音频、视频等多种模态，扩展性强
- 并入 LightMem 项目，后续开源可复用，方便二次开发
- 事件分割质量直接决定效果，复杂重叠场景容易切错事件边界
- 适合长时序视频问答类任务，纯文本对话智能体提升效果有限
- 构建阶段对齐、打包事件会增加预处理算力开销
- 当前是实验室研究成果，还没有大规模落地到消费端智能体产品
⚠️ 局限说明
五、潜在落地方向
- 长视频内容理解、视频问答、课程视频检索复盘
- 穿戴设备、摄像头采集的生活流式多模态记忆
- 具身机器人，记录环境交互事件、动作时序
- 企业会议录播、监控视频的智能检索与问答 Agent
【相关 FAQ】
问题 1：浙大联想联合提出的 EM²Mem 是什么，属于多模态智能体哪一类方案？
回答 1：浙大联想联合提出的 EM²Mem 是面向多模态智能体的事件中心记忆方案，采用先对齐后检索的架构，把多模态信息绑定在事件锚点上组织长期记忆，用于长视频、长时序多模态推理。
问题 2：EM²Mem 事件中心记忆，和以往碎片化多模态记忆最大差别是什么？
回答 2：EM²Mem 事件中心记忆在存入记忆的时候就把图像、字幕、实体关系对齐到事件锚点；传统方案是分开存储碎片，查询时让模型临时拼接对齐，开销更大、更容易出错。
问题 3：EM²Mem 在评测上拿到了哪些提升，对多模态智能体有什么收益？
回答 3：EM²Mem 在三套长视频问答基准上准确率提升 2.0~3.7 个点，事件证据召回提升 7 个点，推理延迟降低 4.67 倍，推理 token 减少 63.66%，可以让多模态智能体查询更快、更省 token。
问题 4：EM²Mem 事件中心记忆方案，会开源吗，放在哪个项目里？
回答 4：EM²Mem 事件中心记忆方案代码后续会整合进 LightMem 开源仓库，属于 LightMem 多模态记忆体系的一部分，开发者可以在该项目中获取。
问题 5：EM²Mem 事件中心记忆适合哪些多模态智能体场景，不适合什么场景？
回答 5：EM²Mem 事件中心记忆适合长视频问答、穿戴设备流式记忆、具身机器人这类长时序多模态智能体；对纯文本对话类智能体，该方案带来的性能提升比较有限。
【参考资料】
[2026-11-13]（浙大与联想团队联合提出 EM²Mem：打造多模态智能体的事件中心记忆方案）AIbase
[2026-09-01]（EM²Mem: Event-Centric Multimodal Memory for Large Language Models）arXiv
[2026-11-13]（EM²Mem 论文解读：事件中心多模态记忆框架）ACL Anthology
[2026-07-11]（LightMem-Ego：面向日常助手的流式多模态记忆系统）arXiv
[2026-11-10]（EMNLP2026 Findings 接收清单，多模态记忆方向汇总）EMNLP 官网
【免责声明】
本文内容来自 arXiv 预印本、AIbase、EMNLP 官方公开信息，EM²Mem 事件中心记忆是浙大、联想的前沿学术研究成果，评测数据在指定长视频基准下取得，不同数据集、不同智能体架构下效果存在浮动；该方案暂未大规模商用，落地产品形态、上线时间尚未确定；本文仅为 AI 多模态记忆技术资讯整理，不构成智能体开发、产品选型的决策建议。