长上下文难题新方案Agent 自主管控收缩 KV 缓存,AKV 缓存工程新思路

长周期 Agent 任务越跑,KV 缓存占用显存和算力就越高,传统摘要、截断这类上下文压缩手段会改动原始对话文本,导致已生成 KV 缓存失效,触发开销巨大的重 Prefill,还容易丢失关键信息,清华与港中文团队提出 Cache Engineering 缓存工程范式,配套 AKV 推理引擎,允许 Agent 直接下发指令删减、调整 KV 缓存,原始对话轨迹保持原样,不用重算前缀缓存,实测对比传统摘要方案,平均推理成本下降 27.7%,任务成功率还提升 1.7%,给代码 Agent、科研检索 Agent 这类长上下文场景提供了一条低成本优化路线。很多开发者做长 Agent 的时候习惯到上限就摘要历史,忽略了 KV 读取才是推理成本大头,论文数据显示 KV 读取开销最高占到 Agent 总推理成本的 82.4%;AKV 方案把 KV 缓存做成可编程对象,提供 drop、repos、append 三个基础操作原语,Agent 可以自主判断哪些历史 KV 不再参与后续注意力计算,把缓存裁剪和文本解耦,就算收缩缓存,原始对话全部留存,需要的时候还能恢复对应的缓存条目。

一、上下文工程 vs AKV 缓存工程对比表

方案操作对象是否修改原始文本是否触发重 Prefill信息风险
上下文工程(摘要 / 截断)对话历史文本是是容易丢失细节,任务成功率下滑
AKV 缓存工程(Agent 缩 KV)KV 缓存否否原文完整保留,信息损失可控

二、AKV 三大核心操作原语

  1. drop:把指定历史 KV 条目移出注意力计算范围,不删除原始 token 文本
  2. repos:调整保留 KV 的位置编码,用来突破上下文位置长度限制
  3. append:追加新的 KV 缓存,常规新增对话的缓存写入动作

三、AKV 系统完整运行流程

  1. Agent 完整历史轨迹原样送入 AKV 推理服务,同时附带缓存操作指令;
  2. Agent 根据当前任务目标,评估历史信息价值,下发 drop、repos 指令;
  3. 推理引擎只调整 KV 缓存参与注意力的范围,原始对话文本不变;
  4. 下一轮解码复用留存 KV,减少显存占用、降低 KV 读取带宽;
  5. AKV 对外是无状态 API 接口,内部维护缓存状态,支持缓存恢复。

四、实测指标与测试范围

  • 测试模型:3 款主流开源大模型
  • 测试任务:4 类典型 Agent 任务,包含代码编写、多轮工具检索、网页浏览、规划任务
  • 核心结果:对比摘要基线,平均推理成本下降 27.7%,任务平均成功率 + 1.7%
  • 极限收益:吞吐量最高提升 1.2 倍,P95 延迟最高提速 1.5 倍

五、方案优势与局限

✅ 优势

  1. 文本轨迹不动,规避摘要带来的信息丢失、逻辑断层;
  2. 无强制重 Prefill,大幅削减 KV 读取带来的算力开销;
  3. 策略灵活:既可以交给 Agent 自主决策,也可以配置固定滚动淘汰规则;
  4. 底层模型不用微调,兼容现有主流大模型。
  5. 需要专用 AKV 推理引擎支持,vLLM 等通用推理框架原生不支持这套缓存原语;
  6. Agent 需要具备判断历史 KV 价值的能力,增加 Agent 侧逻辑开发量;
  7. 属于前沿学术方案,目前以论文开源为主,还没有大规模商用落地。

⚠️ 局限

六、适合落地场景清单

  • 代码 Agent、多轮工具调用 Agent;
  • 长期科研检索、网页深度调研类 Agent;
  • 单会话持续几十上百轮、KV 持续膨胀的自治智能体。

【相关 FAQ】

问题 1:Agent 上手收缩 KV 缓存解决长上下文,和传统摘要压缩的核心差别是什么?

回答 1:Agent 上手收缩 KV 缓存解决长上下文,操作对象是 KV 缓存,原始对话文本保持不变,不会触发重 Prefill;传统摘要压缩修改历史文本,旧 KV 直接失效,要重新计算前缀缓存,更容易丢失关键信息。

问题 2:支持 Agent 自主收缩 KV 缓存的 AKV 缓存工程,实测优化效果怎么样?

回答 2:支持 Agent 自主收缩 KV 缓存的 AKV 缓存工程,在多模型、多 Agent 任务测试下,对比传统摘要方案平均推理成本下降 27.7%,任务成功率提升 1.7%,吞吐量和延迟也有改善。

问题 3:Agent 直接收缩 KV 缓存,会不会把原始对话内容删掉?

回答 3:Agent 直接收缩 KV 缓存只是把对应的 KV 条目移出注意力计算范围,原始对话文本完整保留,和摘要不一样,原始记录不会被删除改写。

问题 4:普通推理框架能不能直接实现 Agent 管控收缩 KV 缓存?

回答 4:普通推理框架不能直接实现 Agent 管控收缩 KV 缓存,该能力依赖 AKV 专用推理引擎提供 drop、repos 这类缓存操作原语。

【参考资料】

[2026-11-17](还在苦恼「长上下文」?Agent 直接上手缩 KV 缓存)新浪财经

[2026-11-17](Cache Engineering for Agents:让 Agent 自主管理 KV 缓存)机器之心

[2026-10-22](agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7%)阿里云开发者社区

[2026-10-20](Cache Engineering for Agents 论文发布:AKV 缓存工程)arXiv

[2026-10-08](长上下文 Agent KV 缓存优化技术路线梳理)AI 科技评论

【免责声明】

以上内容基于《Cache Engineering for Agents》论文和公开资讯整理,Agent 收缩 KV 缓存属于前沿学术方案,暂未大规模商用;性能数据来自实验室基准测试,不同模型、任务、推理环境下优化效果存在差异;本文仅作 AI 技术科普,不构成 Agent 服务部署选型建议。

本文来自作者[硅海巡码者]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/jqr/202611/3797.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 硅海巡码者
    硅海巡码者 2026年11月17日

    我是新新网的签约作者“硅海巡码者”!

  • 硅海巡码者
    硅海巡码者 2026年11月17日

    希望本篇文章《长上下文难题新方案Agent 自主管控收缩 KV 缓存,AKV 缓存工程新思路》能对你有所帮助!

  • 硅海巡码者
    硅海巡码者 2026年11月17日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 硅海巡码者
    硅海巡码者 2026年11月17日

    本文概览:长周期 Agent 任务越跑,KV 缓存占用显存和算力就越高,传统摘要、截断这类上下文压缩手段会改动原始对话文本,导致已生成 KV 缓存失

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们