摩尔线程打通万亿多模态训练链路,成功完成 Kimi K3.1 Pro 训练适配

摩尔线程正式宣布,依靠 MTT S5000 智算卡搭配 MUSA 软件栈,完成了月之暗面 Kimi K3.1 Pro 的训练适配,打通了万亿参数多模态模型从加载、分片调度到梯度同步的整套训练链路,这次不只是简单推理跑通,而是实现完整训练流程验证,也是国产 GPU 在 3 万亿级 MoE 多模态模型训练上的一次重要落地。Kimi K3.1 Pro 是 2.8 万亿参数原生多模态模型,用了 MoE 混合专家架构,还有动态稀疏注意力、专家路由、图文跨模态融合这些复杂设计,对显存、多卡通信、算子完备度要求很高,之前很多国产芯片只能做到推理适配,训练链路跑通难度会大很多。

本次测试核心配置与结果

  • 硬件:双服务器、一共 16 张 MTT S5000 智算卡,跨节点组网
  • 并行方案:原生 FSDP2+EP 混合并行,MCCL 负责跨卡、跨节点通信
  • 模型裁剪版本:语言主干 13 层、16 路由专家,完整保留 27 层视觉塔和跨模态投影模块
  • 数据集:MedPix-VQA 图文数据集,全局 batch=16,序列长度 1024
  • 测试结果:稳定跑完 400 步连续训练,没有数值溢出、程序中断,视觉分支可以正常做梯度更新,损失曲线正常收敛

关键技术优化点

  • 适配 KDA 混合注意力、Gated MLA、动态专家路由等 Kimi 专属算子
  • 加入参数预取、梯度通信调度,缓解多卡同步带来的延迟
  • 使用 Chunk Loss 分块计算,降低大词表带来的显存占用压力
  • 保留 NeMo AutoModel 原生代码流程,减少模型改造工作量,方便后续调优

需要分清的两个适配阶段

很多人会把推理适配和训练适配搞混。早前摩尔线程已经完成 Kimi K3.1 Pro 的 Day0 推理适配,能跑图文问答;这次新增的是训练链路适配,支持做增量微调、继续预训练,但这次只是裁剪版本的链路验证,不等于直接可以跑完整 2.8 万亿参数全规模预训练。想要完整全量预训练,后续还需要更大集群、更多调优工作。

【相关 FAQ】

问题 1:摩尔线程 Kimi K3.1 Pro 训练适配是什么意思,和推理适配有什么差别?

回答 1:摩尔线程 Kimi K3.1 Pro 训练适配代表已经打通万亿多模态模型完整训练链路,可以做梯度回传、参数更新、微调;而推理适配只是加载权重跑问答、看图,不支持模型学习更新,训练适配难度明显高于推理适配。

问题 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,是不是就能直接全量训练 2.8 万亿参数版本?

回答 2:不是,本次摩尔线程 Kimi K3.1 Pro 训练适配仅为裁剪模型下的链路验证,验证训练流程稳定,完整 2.8 万亿参数全规模预训练还需要更大集群、更多优化,本次不等于完成全量预训练。

问题 3:摩尔线程靠什么硬件和软件打通 Kimi K3.1 Pro 这条万亿多模态训练链路?

回答 3:硬件是 MTT S5000 训推一体智算卡,软件依靠 MUSA 全栈软件生态,包含 MCCL 通信库、MATE 算子库、FSDP2 并行框架,配合专门优化的 KDA 算子、分块损失计算方案,打通 Kimi K3.1 Pro 万亿多模态训练链路。

【参考资料】

[2026-11-18](摩尔线程完成 Kimi K3.1 Pro 万亿多模态训练链路验证,国产 GPU 适配再进一步)腾讯新闻

[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)OFweek 半导体网

[2026-11-17](摩尔线程完成 Kimi K3.1 Pro 训练适配)每日经济新闻

[2026-11-16](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技

【免责声明】

本文仅为行业资讯整理,摩尔线程 Kimi K3.1 Pro 训练适配为实验室裁剪配置下链路验证,不代表可直接商用全量预训练;模型训练效果、集群落地成本、后续迭代进度以摩尔线程和月之暗面官方后续公告为准,不构成投资、采购建议。

本文来自作者[电域回响]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/shuma/202611/4330.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 电域回响
    电域回响 2026年11月18日

    我是新新网的签约作者“电域回响”!

  • 电域回响
    电域回响 2026年11月18日

    希望本篇文章《摩尔线程打通万亿多模态训练链路,成功完成 Kimi K3.1 Pro 训练适配》能对你有所帮助!

  • 电域回响
    电域回响 2026年11月18日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 电域回响
    电域回响 2026年11月18日

    本文概览:摩尔线程正式宣布,依靠 MTT S5000 智算卡搭配 MUSA 软件栈,完成了月之暗面 Kimi K3 1 Pro 的训练适配,打通了万亿参数多模态模

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们