DoubleAI 团队最新的机制干预研究使用 DeepSeek-V4.1-Flash 模型，让 AI 自己分析自身内部激活信号、生成干预代码，在不改动原有模型权重的前提下修改 Transformer 推理流程，在 AIME、HMMT 2026 数学竞赛评测上准确率直接提升 7 个百分点，这个研究和传统调参、微调完全不一样，不是训练阶段更新权重，而是在推理时插入代码逻辑做内部信号检测、思路回滚纠错。传统大模型的 Transformer 架构都是固定写死的，优化只能靠预训练、SFT、RLHF 调整权重；而这套机制干预方案，是让编程 Agent 读取模型中间层的激活数据，识别出模型即将算错的信号，自动写出探针重采样代码 probe_and_resample，嵌入 Transformer 前向计算链路，一旦检测到推理跑偏，就触发回滚、重新采样输出结果。整套方案的试验流程是采集 DeepSeek 做数学题的中间层激活数据、交给 Agent 分析错误模式、Agent 自动生成干预 Python 代码、把代码插入 Transformer 推理链路、在数学竞赛数据集上对照测试，对照组用无效假代码验证，确认提分效果来自 AI 自动编写的干预逻辑；这个实验只是研究层面的验证，并不是 DeepSeek 官方正式发布的新版模型，目前只在数学推理场景验证有效，通用场景效果还需要更多测试。
研究基础信息清单
- 研究团队：DoubleAI
- 实验模型：DeepSeek-V4.1-Flash（7630 亿总参数）
- 核心方案名称：机制干预（mechanistic intervention）
- 改动位置：Transformer 推理前向链路，不修改模型权重
- 干预代码：probe_and_resample 探针重采样程序
- 评测数据集：AIME、HMMT 2026 数学竞赛题
- 核心效果：数学准确率提升 7%
- 识别信号来源：模型最深 7 层内部激活状态
新旧优化方式对比表
| 优化方式 | 是否改动权重 | 修改对象 | 适用阶段 | 本次实验是否使用 |
|---|---|---|---|---|
| 预训练 / 微调 | 是 | Transformer 权重 | 训练阶段 | 否 |
| 提示词工程 | 否 | 输入 Prompt | 推理阶段 | 否 |
| 机制干预（本次方案） | 否 | Transformer 推理执行流程 | 推理阶段 | 是 |
| MoE、注意力结构改造 | 是 | Transformer 模块结构 | 训练设计阶段 | 否 |
机制干预执行步骤
- 采集 DeepSeek-V4.1-Flash 解题时，Transformer 深层的激活向量、做题轨迹；
- Agent 分析激活信号，挖掘出 “即将推理出错” 的特征模式；
- Agent 自动生成 probe_and_resample 干预代码；
- 将代码嵌入 Transformer 前向推理链路，实时监控中间层信号；
- 一旦捕捉到错误前兆，触发回滚，重新采样生成答案；
- 在数学竞赛数据集上对照测试，统计准确率变化。
研究关键结论与局限清单
✅ 亮点
- 证明 AI 可以自主修改 Transformer 推理流程实现提分，不需要重新训练、不改动权重；
- 干预逻辑由 AI 自主生成，人工不用手动设计干预规则；
- 对照实验排除了随机效应，验证 7 分提升来自自动生成的干预代码。
- 当前仅在数学推理任务验证，文本创作、代码、长上下文等场景效果未知；
- 属于学术实验原型，还没有集成到 DeepSeek 官方线上 API；
- 增加额外代码分支，推理延迟、token 消耗会上升；
- 只干预推理流程，底层 Transformer 基础单元没有被重新重设计。
⚠️ 局限
【相关 FAQ】
问题 1：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，这个 7 分是在什么评测上拿到的提升？
回答 1：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，7 个百分点提升来自 AIME 和 HMMT 2026 数学竞赛题的准确率评测。
问题 2：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，会修改模型权重吗？
回答 2：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，这套机制干预方案全程不改动模型权重，只在 Transformer 推理流程里插入 AI 生成的代码做信号监控和回滚。
问题 3：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，是 DeepSeek 官方推出的新版本模型吗？
回答 3：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，该成果来自 DoubleAI 的独立研究实验，不是 DeepSeek 官方发布的正式模型版本。
问题 4：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，机制干预的核心原理是什么？
回答 4：DeepSeek 借助 AI 自我改写 Transformer 架构暴涨 7 分，机制干预就是让 AI 读取 Transformer 深层激活信号，识别推理出错前兆，自动生成代码，在推理中途触发回滚重算，纠正思路。
【参考资料】
[2026-11-08]（AI 亲手改写 Transformer 架构！DeepSeek 自我改造暴涨 7 分）新浪财经
[2026-11-08]（AI 亲手改写 Transformer 架构！DeepSeek 自我改造暴涨 7 分）新智元
[2026-11-06]（Mechanistic Intervention: Let Agent Modify Model Forward Pass）DoubleAI 博客
【免责声明】
本内容是 DeepSeek 自我改写 Transformer 架构相关公开研究资讯整理，仅作为 AI 前沿技术科普；该方案属于学术实验，未商用上线，不代表 DeepSeek 官方产品能力；7% 提升为该研究在特定数学数据集上的实验结果，迁移到其他任务不一定能复现；机制干预会带来推理延时增加等额外开销，不构成落地部署建议。