8B 连续扩散 LLaCO 数学推理突破MATH 62.12 分反超离散扩散,北邮 × 智源 × 北大开源

北邮、智源、北大联合推出的 LLaCO-8B 连续扩散大模型,在 MATH 数学推理基准拿到 62.12 分,首次在 8B 参数规模下,连续扩散模型的数学推理效果超过离散扩散模型,之前很长一段时间里,连续扩散虽然理论上双向上下文规划能力更强,但在大模型落地、推理任务上一直跑不过离散扩散,这次团队靠 Token 竞争理论、球面加噪、语义调度这一套方案补齐短板,不仅在 MATH 上领先同规模离散扩散 Dream-7B 足足 10.92 分,9 项主流基准测试也全部优于过往连续扩散方案,现在代码、模型权重、技术报告全部对外开源,给语言扩散这条技术路线提供了新的验证思路。

一、LLaCO 核心是什么

LLaCO 是面向大语言模型的连续扩散框架,全称 LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling,它不是传统从左往右逐字生成的自回归模型,也不是之前主流的离散掩码扩散,而是把词映射到连续嵌入空间做迭代去噪,支持双向同时规划内容,适合数学、逻辑这类需要全局推导的推理任务。

连续扩散 vs 离散扩散简单对比

模型类型生成逻辑优势过去短板
连续扩散(LLaCO 这类)在 embedding 连续空间加噪、去噪,最后再映射回文字 token双向全局规划,适合链式数学推理,采样轨迹可控大参数量下训练难、推理分数低,一直弱于离散扩散
离散扩散(Dream、LLaDA)直接在离散 token 上做掩码替换、加噪训练稳定、落地成熟单向约束强,长链条数学推理容易断逻辑
自回归 LLM(Llama 系列)按顺序逐个预测下一个 token生态成熟、适配绝大多数场景没法全局回看,长推理容易积累错误

二、这次反超的三个关键技术点

  1. Token 竞争阈值理论
  2. 球面加噪机制
  3. 语义时间调度策略

团队先搞懂了连续扩散里一个核心问题:去噪过程里不同词语、符号之间会互相抢占位置,也就是 token 竞争。这个现象会直接破坏数学公式、步骤推导的连贯性,之前很多连续扩散模型就是卡在这个问题上,推理效果上不去。

不再用普通高斯加噪,改用球面几何上的插值加噪,防止向量模长衰减,稳住 token 之间的相对关系,数学符号、步骤之间的逻辑不容易乱掉。

把更多计算资源分配给身份转换的关键步骤,简单稳定的语义阶段少分配算力,优化整个去噪轨迹,让推理步骤的顺序、推导逻辑更精准。

三、评测数据与开源信息

  • 模型规模:8B 参数
  • MATH 得分:62.12 分,同规模连续扩散首次超过离散扩散基线 Dream-7B
  • 测试范围:一共 9 项基准,包含数学、代码、通用理解等,全部超过之前所有连续扩散模型
  • 开源地址:GitHub 项目代码、HuggingFace 模型权重、arXiv 技术报告全部开放,研究者可以直接下载复现、二次微调

四、它适合做什么、还有哪些局限

适合:数学推理、多步骤逻辑题、需要全局统筹的文本生成、双向内容改写;连续扩散的轨迹可控特性,后续也方便做推理过程干预、引导生成。

局限:目前还属于前沿研究模型,不是面向产业的成品工具,推理速度、显存开销对比成熟离散扩散、自回归模型没有明显优势,距离大规模业务落地还有优化空间。

【相关 FAQ】

问题 1:LLaCO-8B 连续扩散模型 MATH 62.12 分,反超离散扩散意味着什么?

回答 1:LLaCO-8B 连续扩散模型 MATH 拿到 62.12 分反超离散扩散,打破了 “大参数量下连续扩散推理弱于离散扩散” 的固有结论,证明连续扩散在数学推理场景的理论优势可以落地,给语言扩散路线提供了新的技术方案,也说明双向去噪的生成方式在链式推理任务上具备潜力。

问题 2:LLaCO 连续扩散和离散扩散模型在数学推理上的核心差别是什么?

回答 2:LLaCO 连续扩散在 embedding 连续空间做去噪,全程可以双向调整全部推理步骤,适合数学这种前后步骤强关联的任务;离散扩散直接在离散 token 上做掩码替换,训练更稳定,但全局调整能力弱,长数学推导更容易出错,这也是本次 LLaCO 能在 MATH 指标上反超的底层原因。

问题 3:LLaCO-8B 这个连续扩散模型可以直接拿来商用吗?

回答 3:LLaCO-8B 连续扩散模型目前是北邮、智源、北大放出的学术开源版本,虽然 MATH 分数反超离散扩散,但还没有针对商用场景做速度、显存、稳定性优化,更适合科研复现、二次研究,不建议直接投入线上业务商用。

问题 4:LLaCO 用到的球面加噪机制,对连续扩散模型数学推理提升在哪?

回答 4:球面加噪机制解决了连续扩散里向量模长衰减、token 互相干扰竞争的问题,稳住数学符号、推导步骤之间的相对语义关系,减少去噪过程里逻辑错乱,是 LLaCO 连续扩散能在 MATH 数据集上反超离散扩散的关键技术之一。

【参考资料】

[2026-11-19](8B 连续扩散模型在数学上反超了离散扩散!MATH 62.12 分居首)量子位

[2026-10-22](LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling)arXiv

[2026-10-02](Large Language Continuous Diffusion Models)arXiv

[2026-07-23](LLaDA (Large Language Diffusion))AI Wiki

[2025-02-14](大语言扩散模型来了,何必只预测下一个 token)智源社区

【免责声明】

本文内容仅为 LLaCO-8B 连续扩散模型前沿技术资讯科普,不构成技术选型、商业落地、投资相关建议。该模型属于学术开源研究版本,模型性能、稳定性、合规性由项目团队负责,读者在复现、二次开发过程中产生的问题与损失,本文不承担相关责任。

本文来自作者[幽盘总线员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/4525.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 幽盘总线员
    幽盘总线员 2026年11月19日

    我是新新网的签约作者“幽盘总线员”!

  • 幽盘总线员
    幽盘总线员 2026年11月19日

    希望本篇文章《8B 连续扩散 LLaCO 数学推理突破MATH 62.12 分反超离散扩散,北邮 × 智源 × 北大开源》能对你有所帮助!

  • 幽盘总线员
    幽盘总线员 2026年11月19日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 幽盘总线员
    幽盘总线员 2026年11月19日

    本文概览:北邮、智源、北大联合推出的 LLaCO-8B 连续扩散大模型,在 MATH 数学推理基准拿到 62 12 分,首次在 8B 参数规模下,连续扩散模型

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们