上海科学智能研究院正式开源 REMORY 残差记忆模块，这套方案不走传统文本摘要压缩上下文的老路，依靠 1.9B 参数的记忆网络输出软记忆 token，搭配冻结的小基座模型，能够支撑 AI 智能体连续多天不间断执行科研任务，递归自我迭代，最终任务产出质量可以对标 GPT-6.1-Terra。常规长上下文智能体大多靠文字摘要压缩历史记录，摘要很容易丢失细节、因果关联，出现溯源失效、工具调用重复出错，而 REMORY 把可读摘要和可学习软残差 token 分开，软 token 承载摘要没法保留的隐性信息，基座模型全程不用微调，只需要把摘要 + 少量软记忆 token 送入输入，就能近似看到全部历史上下文。这套 1.9B 版本专门适配 Qwen3.8-27B 基座，另外还有 1.24B 版本适配 GLM-5.3-Flash，训练只用两张 H800 显卡完成自监督训练，在 SummHay、BrowseComp、Terminal-Bench 2.1 等长时序智能体评测上，只用原上下文 5.2% 的输入位置，就可以逼近完整上下文的得分，大幅减少重复调用、工具报错，适合自动化科研、长期工程任务。
REMORY 核心架构说明
| 模块 | 作用 |
|---|---|
| 历史编码器 | 接收完整历史对话 + 可读文本摘要，提取摘要丢失的信息缺口 |
| 残差记忆解码器 | 输出固定数量的软记忆 token（连续向量，不是可读文字） |
| 基座 LLM（冻结） | 接收【摘要 + 软记忆 token】推理，基座权重不改动 |
| 训练目标 | 让基座在压缩输入下的输出分布，和读取全部原始上下文的输出对齐 |
REMORY 与传统上下文压缩方案对比
- 传统文本摘要压缩：只能保留人类可读重点，大量隐性逻辑、细节、溯源信息丢失，长任务下容易跑偏、重复执行工具
- KV 缓存扩展：受窗口上限、显存约束，持续多天任务很难落地，显存开销持续上涨
- REMORY 残差记忆：摘要负责主干叙事，软 token 补齐残差信息，输入长度可控，基座模型冻结，接入成本低，长周期任务稳定性更强
配套版本与硬件信息
- REMORY-1.9B：适配 Qwen3.8-27B，本次主推版本，支持多日连续智能体任务
- REMORY-1.24B：适配 GLM-5.3-Flash，轻量化版本
- 训练硬件：双 H800，自监督训练，不需要大量人工标注
- 开源地址：Hugging Face 发布权重，论文同步上传 arXiv
- 压缩效率：仅占原始上下文 5.2% 输入位置，信息留存率显著高于普通摘要
适配场景清单
- 自动化科研智能体：多日持续文献调研、实验迭代、代码调试、结果复盘
- 长期工程智能体：持续开发、漏洞排查、复杂项目分步推进
- 长时序 RAG 任务：跨多天会话，精准溯源历史信息，减少幻觉
- 本地轻量化智能体：在中小参数模型上，低成本实现超长记忆能力
当前局限
- 软记忆 token 是向量形式，无法直接阅读、人工编辑，调试难度高于文本摘要
- 效果上限依赖基座模型本身能力，REMORY 是记忆增强模块，不是基础大模型
- 任务周期继续拉长，超过 3 天以上，记忆衰减依然存在，需要定期重采样
- 目前主要面向科研、代码类智能体，通用对话场景优化较少
【相关 FAQ】
问题 1：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，REMORY 和普通上下文摘要压缩有什么区别？
回答 1：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，普通方案只靠文字摘要，容易丢失隐性细节；REMORY 搭配可读摘要 + 软残差 token，补齐摘要缺失信息，不用改动基座模型，记忆保真度更高。
问题 2：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，REMORY-1.9B 适配哪个基座模型？
回答 2：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，REMORY-1.9B 适配 Qwen3.8-27B 基座，还有 1.24B 版本适配 GLM-5.3-Flash。
问题 3：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，REMORY 里的软记忆 token 是什么？
回答 3：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，软记忆 token 是连续向量，不是可读文本，用来承载摘要没法保留的隐性信息，给基座模型提供残差记忆。
问题 4：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，REMORY 适合拿来做什么任务？
回答 4：上智院开源 REMORY，1.9B 残差记忆模块绕过传统上下文压缩，支持小模型连续独立运行三天，效果比肩 GPT-6.1-Terra，适合自动化科研智能体、长期代码工程、跨多天长会话 RAG、本地轻量化长期智能体。
【参考资料】
[2026-11-11]（越过上下文压缩，上智院开源 REMORY，一个 1.9B 的记忆模块就能让小模型独立工作三天，产出不输 GPT-6.1-Terra）机器之心
[2026-11-11]（Shanghai Academy of Science and Intelligence Open-Sources REMORY, a 1.9B Memory Module）C114Pro
[2026-10-08]（REMORY: Learning Residual Memory for Context Compaction）arXiv
[2026-11-11]（REMORY 残差记忆模块解读，突破长上下文智能体瓶颈）AILog
【免责声明】
以上资讯仅为开源项目与论文信息整理，不构成技术选型、商业落地建议；REMORY 属于记忆增强插件模块，提升效果和基座模型、任务类型强相关；多日连续运行的效果来自论文实验环境，实际部署会受算力、提示词、任务复杂度影响；权重使用、二次开发请遵守项目开源协议。