北邮、智源研究院、北大联合推出的 8B 参数量连续扩散语言模型,在 MATH 数学基准测试拿到 62.12 分,在同规模扩散模型里实现对离散扩散模型的反超,打破了此前行业普遍认为离散扩散在数学推理上更强的固有认知;过往连续扩散在文本推理任务上一直表现偏弱,虽然理论上表征能力更强,但受嵌入空间训练不稳定、解码映射损耗等问题制约,数学成绩长期落后于掩码离散扩散,本次团队通过优化隐空间协同演化、连续 - 离散联合去噪、推理路径自校正机制,补齐了连续扩散的训练短板,整套模型权重、训练代码、评测脚本全部对外开源,验证了连续扩散范式在数学推理任务上的潜力,也给非自回归大模型的推理路线提供了新的思路。
核心评测数据对比表
| 模型类型 | 参数量 | MATH 得分 | 核心特点 |
|---|---|---|---|
| 连续扩散(本次 CCDD 8B) | 8B | 62.12 | 连续隐空间 + 离散 token 协同去噪,支持推理自校正 |
| 主流离散扩散基线 | 8B | 57.48 | 掩码 token 扩散,是之前扩散模型数学标杆 |
| 主流自回归数学模型(对照) | 8B | 60.35 | 传统逐 token 生成,不具备并行解码能力 |
连续扩散反超离散扩散的关键技术方案
- 连续 - 离散协同扩散(CCDD)框架
- 全推理路径中间状态监督
- 数学专用数据过滤与增强
- 优化 ODE 采样器
模型同时在连续向量空间、离散 token 空间执行扩散去噪,兼顾连续空间细粒度表征优势和离散 token 的输出稳定性,解决过去纯连续扩散从隐向量映射回文字时出现信息丢失的痛点。
训练阶段对扩散每一步中间状态做监督,而不是只监督最终答案,让模型可以在去噪迭代过程中自行修正错误步骤,也就是推理自校正。
使用高难度奥数、竞赛数学数据集做微调,过滤低质量、步骤简略的样本,强化链式推理的步骤完整性。
适配数学推理的采样调度策略,减少采样步数,在保证准确率的同时降低推理开销。
连续扩散和离散扩散模型基础差异
- 连续扩散:在向量嵌入的连续空间添加高斯噪声、迭代去噪,理论上表达上限更高,支持任意顺序生成、中间步骤微调;难点是隐空间到 token 的解码容易丢失细节,训练难度高。
- 离散扩散:直接在词汇 token 空间做掩码、状态跳转,训练更稳定,过去在数学、代码任务上效果更好;缺点是只能在离散 token 上做修改,缺少细粒度隐空间调整能力,自校正的灵活度有限。
这套 8B 连续扩散模型的优势清单
- 推理分数:MATH 62.12,同规模扩散模型第一,超过同参数离散扩散基线。
- 生成特性:非自回归,支持并行解码,长推理步骤的生成速度有优化空间。
- 自校正能力:迭代去噪过程可以反复修正中间计算错误,适合多步骤数学题。
- 开源开放:权重、训练代码、评测脚本全部开源,可复现 MATH 跑分结果。
- 范式价值:证明连续扩散不是只能做图像,在复杂逻辑推理任务同样具备竞争力。
当前方案存在的局限
- 通用对话、摘要等基础任务表现,暂时没有全面超越成熟离散扩散与自回归模型,优势集中在数学推理场景。
- 采样步数、显存开销高于普通自回归模型,落地部署成本更高。
- 目前只验证 8B 规格,更大参数版本的扩展性还需要后续实验验证。
- 高难度奥林匹克数学题依然存在错漏,推理稳定性还有提升空间。
【相关 FAQ】
问题 1:8B 连续扩散模型在 MATH 拿到 62.12 分,为什么说它反超了离散扩散?
回答 1:8B 连续扩散模型在 MATH 拿到 62.12 分,同条件下离散扩散基线分数为 57.48 分,在同参数量扩散模型对比中实现数学推理分数反超,打破了离散扩散在数学任务上更强的行业旧认知。
问题 2:北邮、智源、北大这个 8B 连续扩散模型,核心解决了连续扩散的什么痛点?
回答 2:这套 8B 连续扩散模型采用连续离散协同扩散方案,解决了传统连续扩散隐空间训练不稳定、向量映射回 token 时信息丢失、中间推理步骤缺少监督的痛点,让连续扩散在数学推理上发挥出理论上的表达优势。
问题 3:连续扩散模型和离散扩散模型,做数学推理的区别是什么?
回答 3:连续扩散模型在连续向量空间做去噪,细粒度调整推理路径,自带迭代自校正能力;离散扩散直接在 token 空间做掩码跳转,训练更稳定,但缺少隐空间精细调整能力,本次 8B 连续扩散在数学数据集上实现反超。
问题 4:这个 8B 连续扩散模型开源包含哪些内容?
回答 4:北邮 × 智源 × 北大的 8B 连续扩散模型开源内容包含模型权重、训练代码、MATH 评测脚本,研究者可以复现 62.12 分的 MATH 测试结果,也能基于这套框架继续微调。
问题 5:8B 连续扩散模型 MATH 拿到 62.12 分,是不是意味着它全面强于自回归大模型?
回答 5:8B 连续扩散模型 MATH 拿到 62.12 分,仅在数学推理指标上超过同参数自回归基线,在通用对话、摘要等其他任务上没有全面领先,优势集中在数学推理场景。
【参考资料】
[2026-11-19](8B 连续扩散模型在数学上反超了离散扩散!MATH 62.12 分居首|北邮 × 智源 × 北大开源)新智元
[2026-11-19](Coevolutionary Continuous Discrete Diffusion: Make Your Diffusion Language Model a Latent Reasoner)arXiv
[2026-11-19](CCDD-8B 开源,连续扩散数学推理新 SOTA)智源社区
[2026-11-18](扩散语言模型综述:连续扩散与离散扩散路线对比)机器之心
【免责声明】
本文为 8B 连续扩散模型开源成果资讯整理,MATH 62.12 分是固定评测条件下的公开跑分,不同采样器、超参、评测集版本会带来分数浮动;该模型属于前沿学术原型,不代表商用推理方案,不构成选型、二次开发的确定性建议。
本文来自作者[碳境分发员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/kjyw/202611/4460.html
评论列表(4条)
我是新新网的签约作者“碳境分发员”!
希望本篇文章《8B 连续扩散模型数学能力反超离散扩散,MATH 62.12 分登顶,北邮 × 智源 × 北大方案开源》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:北邮、智源研究院、北大联合推出的 8B 参数量连续扩散语言模型,在 MATH 数学基准测试拿到 62 12 分,在同规模扩散模型里实现对离散