MIT CSAIL 提出的权重空间编程(WSP)让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 约 0.016% 权重的实验在 AI 圈刷屏,很多解读误以为被改权重后的小模型整体变聪明,但一组独立对照实验得出相反结论:模型通用推理、常识、逻辑等综合能力没有提升,只是针对性修复了数学推理死循环漏洞,拉高了 MATH-500 这类单一数据集分数。这个技术的流程是 GPT-6 Astra 先诊断 Qwen 小模型在数学题上的推理缺陷,定位特定层参数,不做梯度训练、不用大规模重训,直接修改极少一部分权重;MATH-500 得分从 7.9% 升到 48.1%、GSM8K 同步上涨,指令遵循指标也有改善。对照实验分开测试了跨领域推理、多步逻辑、常识、代码、长文本理解,发现除了目标数学任务之外,其余基准和原版 Qwen 几乎无差别,属于 “定点补丁”,不是模型涌现出新智力。同时实验也指出该方案限制很多:只在 8 亿参数小模型上生效、高度依赖目标数据集、修改位置和幅度很难泛化,改权重很容易出现别的能力降级,并不是大家想象里一键升级模型智商的黑科技。
实验核心信息清单
- 技术名称:权重空间编程 Weight-Space Programming(WSP)
- 执行者:GPT-6 Astra
- 被修改模型:Qwen3.5-0.8B(0.8B 参数)
- 修改范围:仅约 0.016% 权重
- 原始效果:MATH-500 7.9% → 48.1%,GSM8K、指令遵循提升
- 对照结论:仅修复数学推理漏洞,通用智力、跨域能力无提升
- 关键局限:仅限小模型、单项任务,泛化弱,存在能力负向扰动风险
传统微调 vs WSP 权重编程对比表
| 方式 | 原理 | 能力变化 | 风险 |
|---|---|---|---|
| 常规微调 | 喂数据 + 梯度反向传播,批量更新权重 | 多维度能力同步调整 | 耗算力,容易过拟合 |
| WSP(GPT-6 Astra 改权重) | 大模型诊断定点、直接改写少量参数 | 仅目标单项指标提升,整体不变 | 容易误伤其他原有能力 |
对照实验测试步骤
- 准备原版 Qwen3.5-0.8B 和被 GPT-6 Astra 修改权重后的版本,固定采样参数。
- 分两类评测集:MATH-500、GSM8K(本次优化目标);通用推理、常识、代码、长文本、多模态逻辑(对照集)。
- 固定温度、top-p,批量跑测评,记录两套模型得分。
- 统计差异:数学任务明显提升,其余基准分差落在误差区间内。
- 追加鲁棒性测试:换不同出题风格的数学题,分数快速回落,验证不是通用数学能力变强。
【相关 FAQ】
问题 1:GPT-6 Astra 改权重爆火,对照实验为什么说模型根本没变聪明?
回答 1:GPT-6 Astra 改权重爆火,对照实验发现它只修复了 Qwen 小模型数学推理死循环的局部 bug,数学数据集分数上涨,但常识、多步逻辑、代码、长文本等通用能力几乎没有进步,没有获得更高的通用智力。
问题 2:GPT-6 Astra 权重空间编程,一共改动了 Qwen3.5-0.8B 多少权重?
回答 2:GPT-6 Astra 权重空间编程,只修改 Qwen3.5-0.8B 大约 0.016% 的权重,不需要传统梯度训练,这也是这个研究最出圈的地方。
问题 3:WSP 这项 GPT-6 Astra 改权重技术,可以拿来给大模型一键升级智商吗?
回答 3:WSP 这项 GPT-6 Astra 改权重技术不可以一键升级智商,目前只在 0.8B 小模型、特定数学数据集上生效,泛化很差,改动还可能导致别的能力变差,离通用升级很远。
问题 4:GPT-6 Astra 在 WSP 里是什么角色,它是被修改的模型吗?
回答 1:GPT-6 Astra 不是被改的模型,它是负责诊断小模型缺陷、计算参数修改方案、执行权重改写的 “编辑工具模型”,Qwen3.5-0.8B 才是被修改的对象。
【参考资料】
[2026-11-03](Sparks of Weight-Space Programming)MIT CSAIL 博客
[2026-11-04](GPT-6 Astra 爆改权重:数学暴涨,但通用能力未提升)机器之心
[2026-11-04](权重空间编程独立复现对照实验纪要)无涯智远
[2026-11-04](解读 WSP:不是 AGI 跃迁,是参数定点打补丁)量子位
【免责声明】
本文整理 MIT CSAIL 原始研究以及第三方独立对照实验结论,WSP 属于前沿实验室研究,复现效果、边界仍在持续验证;该技术目前仅为学术探索,没有成熟商用方案,本文仅做技术科普,不代表技术落地承诺。
