LLM 基础面解析大模型损失函数原理与变体

标准自回归大模型预训练的核心损失函数就是交叉熵损失(等价于负对数似然 NLL),它的目标是让模型在给定上文的前提下,提高下一个真实 token 的预测概率,padding、prompt 部分的 token 会通过掩码跳过不计入损失,很多新手容易混淆:损失不是直接评判回答好不好,而是衡量模型预测文本分布和真实文本分布的差距,损失数值越小,代表模型对语料的预测越准;在 SFT、RLHF 阶段,损失函数会叠加 KL 散度、奖励损失等变体,不再只用单纯的预训练交叉熵,不同阶段的损失目标不一样,不能用同一套指标去评判。

一、核心损失:交叉熵(负对数似然)

项目说明
核心任务Next-token 下一个 token 预测,自回归预训练
简化公式L=−log Ptrue​
含义模型给正确 token 的概率越高,损失越低;概率越低,损失越高
等价关系在 one-hot 标签下,交叉熵损失 = 负对数似然 NLL
配套操作softmax 把 logits 转为词表概率分布;causal mask 屏蔽未来 token;padding mask 跳过填充位
关联指标困惑度 PPL = exp (损失均值),PPL 越低代表模型语言预测能力越好

举个直白例子:上文是 “今天天气很”,真实下一个 token 是 “好”。

模型预测 “好” 概率 0.8,损失 =-log (0.8)≈0.22;

模型预测 “好” 概率 0.1,损失 =-log (0.1)≈2.3,惩罚力度明显变大。

二、工程上的关键细节:掩码怎么控制损失

  1. padding 掩码
  2. 因果掩码(Causal Mask)
  3. SFT 指令微调掩码

序列长度不一样时,末尾补的 padding token,直接 mask 掉,不参与损失计算,不会让模型去学习预测填充符号。

自回归大模型特有,计算 loss 时看不到未来位置的 token,保证训练和推理逻辑一致,只能从左往右预测。

指令微调时,prompt(用户提问部分)mask 不计算 loss,只对模型输出回答部分算损失,不让模型学习预测用户输入。

三、常见损失变体与适用场景

  1. 标签平滑 Label Smoothing
  2. Focal Loss
  3. KL 散度损失(KL Loss)
  4. 奖励损失(RLHF/GRPO)

不把目标做成硬 one-hot,给正确 token 0.9、其余 token 分摊 0.1 的概率,防止模型过度自信、过拟合,提升分布校准效果,预训练阶段经常使用。

对低频 token、长尾词加大惩罚权重,解决词表里面大量稀有 token 学习不足的问题,适合专业领域、垂直语料训练。

SFT、RLHF 阶段常用,用来约束新模型和参考基础模型的输出差距,防止模型学偏、发生灾难性遗忘,控制输出不要偏离原始模型太远。

不再只匹配文本,引入奖励模型打分,损失目标变成最大化奖励,是对齐人类偏好的损失,和预训练交叉熵目标完全不同。

四、不同训练阶段损失目标对比

  • 预训练阶段:只用交叉熵,目标是学习海量文本的统计规律,学会通顺补全文本
  • SFT 监督微调:带掩码的交叉熵,只学习如何按照指令输出回答
  • RLHF/GRPO 对齐阶段:奖励损失 + KL 约束,目标是让输出符合人类偏好、有用、安全

五、常见误区清单

❌ 误区 1:损失越低,模型回答就越聪明、越正确

真实情况:损失只代表文本预测能力,低损失也会出现幻觉、逻辑错误,PPL 低≠推理强。

❌ 误区 2:MSE 均方误差可以直接替代交叉熵

真实情况:MSE 对分类分布梯度不好,大模型 token 预测场景几乎不用 MSE 做主损失。

❌ 误区 3:loss 归零就是最好的

真实情况:loss 归零代表模型完全背下训练集,大概率过拟合,泛化能力变差。

❌ 误区 4:SFT 和预训练用完全一样的 loss 计算方式

真实情况:SFT 会屏蔽 prompt,只算回答部分 loss,和预训练全序列计算有区别。

【相关 FAQ】

问题 1:LLM 基础面解析,大模型损失函数核心是什么?

回答 1:LLM 基础面解析,大模型预训练阶段的核心损失函数是交叉熵损失,也就是负对数似然,用来衡量模型预测下一个 token 的概率和真实文本之间的差距。

问题 2:LLM 基础面解析,大模型损失函数里掩码起到什么作用?

回答 2:LLM 基础面解析,大模型损失函数依靠掩码控制哪些 token 参与损失计算,padding 掩码跳过填充位,因果掩码屏蔽未来 token,SFT 掩码跳过用户 prompt,只计算模型回答部分损失。

问题 3:LLM 基础面解析,标签平滑在大模型损失函数里有什么用处?

回答 3:LLM 基础面解析,标签平滑是交叉熵损失的正则变体,软化硬标签,避免模型过度自信、过拟合,优化输出概率分布的校准效果。

问题 4:LLM 基础面解析,RLHF 阶段还在用交叉熵作为大模型损失函数吗?

回答 4:LLM 基础面解析,RLHF 阶段不再只用交叉熵,核心是奖励损失,搭配 KL 散度损失做约束,用来对齐人类偏好,和预训练的损失目标不一样。

【参考资料】

[2026-10-29](大模型预训练目标:交叉熵损失与 PPL 详解)机器之心

[2026-10-12](LLM 自回归损失、掩码、标签平滑工程说明)NVIDIA NeMo 文档

[2026-09-18](Next Token Loss:负对数似然与交叉熵数学推导)arXiv

[2026-08-05](SFT、RLHF 不同阶段损失函数差异解读)AI 科技评论

【免责声明】

本文为大模型损失函数基础科普内容,不构成模型训练、调参的工程方案。不同开源框架、训练方案对损失掩码、权重、KL 系数的实现存在差异,实际训练效果受数据、学习率、批次、词表等多重因素影响,调参请以官方源码和实验结果为准。

本文来自作者[晶海同步者]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3682.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 晶海同步者
    晶海同步者 2026年11月17日

    我是新新网的签约作者“晶海同步者”!

  • 晶海同步者
    晶海同步者 2026年11月17日

    希望本篇文章《LLM 基础面解析大模型损失函数原理与变体》能对你有所帮助!

  • 晶海同步者
    晶海同步者 2026年11月17日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 晶海同步者
    晶海同步者 2026年11月17日

    本文概览:标准自回归大模型预训练的核心损失函数就是交叉熵损失(等价于负对数似然 NLL),它的目标是让模型在给定上文的前提下,提高下一个真实 t

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们