标准自回归大模型预训练的核心损失函数就是交叉熵损失(等价于负对数似然 NLL),它的目标是让模型在给定上文的前提下,提高下一个真实 token 的预测概率,padding、prompt 部分的 token 会通过掩码跳过不计入损失,很多新手容易混淆:损失不是直接评判回答好不好,而是衡量模型预测文本分布和真实文本分布的差距,损失数值越小,代表模型对语料的预测越准;在 SFT、RLHF 阶段,损失函数会叠加 KL 散度、奖励损失等变体,不再只用单纯的预训练交叉熵,不同阶段的损失目标不一样,不能用同一套指标去评判。
一、核心损失:交叉熵(负对数似然)
| 项目 | 说明 |
|---|---|
| 核心任务 | Next-token 下一个 token 预测,自回归预训练 |
| 简化公式 | L=−log Ptrue |
| 含义 | 模型给正确 token 的概率越高,损失越低;概率越低,损失越高 |
| 等价关系 | 在 one-hot 标签下,交叉熵损失 = 负对数似然 NLL |
| 配套操作 | softmax 把 logits 转为词表概率分布;causal mask 屏蔽未来 token;padding mask 跳过填充位 |
| 关联指标 | 困惑度 PPL = exp (损失均值),PPL 越低代表模型语言预测能力越好 |
举个直白例子:上文是 “今天天气很”,真实下一个 token 是 “好”。
模型预测 “好” 概率 0.8,损失 =-log (0.8)≈0.22;
模型预测 “好” 概率 0.1,损失 =-log (0.1)≈2.3,惩罚力度明显变大。
二、工程上的关键细节:掩码怎么控制损失
- padding 掩码
- 因果掩码(Causal Mask)
- SFT 指令微调掩码
序列长度不一样时,末尾补的 padding token,直接 mask 掉,不参与损失计算,不会让模型去学习预测填充符号。
自回归大模型特有,计算 loss 时看不到未来位置的 token,保证训练和推理逻辑一致,只能从左往右预测。
指令微调时,prompt(用户提问部分)mask 不计算 loss,只对模型输出回答部分算损失,不让模型学习预测用户输入。
三、常见损失变体与适用场景
- 标签平滑 Label Smoothing
- Focal Loss
- KL 散度损失(KL Loss)
- 奖励损失(RLHF/GRPO)
不把目标做成硬 one-hot,给正确 token 0.9、其余 token 分摊 0.1 的概率,防止模型过度自信、过拟合,提升分布校准效果,预训练阶段经常使用。
对低频 token、长尾词加大惩罚权重,解决词表里面大量稀有 token 学习不足的问题,适合专业领域、垂直语料训练。
SFT、RLHF 阶段常用,用来约束新模型和参考基础模型的输出差距,防止模型学偏、发生灾难性遗忘,控制输出不要偏离原始模型太远。
不再只匹配文本,引入奖励模型打分,损失目标变成最大化奖励,是对齐人类偏好的损失,和预训练交叉熵目标完全不同。
四、不同训练阶段损失目标对比
- 预训练阶段:只用交叉熵,目标是学习海量文本的统计规律,学会通顺补全文本
- SFT 监督微调:带掩码的交叉熵,只学习如何按照指令输出回答
- RLHF/GRPO 对齐阶段:奖励损失 + KL 约束,目标是让输出符合人类偏好、有用、安全
五、常见误区清单
❌ 误区 1:损失越低,模型回答就越聪明、越正确
真实情况:损失只代表文本预测能力,低损失也会出现幻觉、逻辑错误,PPL 低≠推理强。
❌ 误区 2:MSE 均方误差可以直接替代交叉熵
真实情况:MSE 对分类分布梯度不好,大模型 token 预测场景几乎不用 MSE 做主损失。
❌ 误区 3:loss 归零就是最好的
真实情况:loss 归零代表模型完全背下训练集,大概率过拟合,泛化能力变差。
❌ 误区 4:SFT 和预训练用完全一样的 loss 计算方式
真实情况:SFT 会屏蔽 prompt,只算回答部分 loss,和预训练全序列计算有区别。
【相关 FAQ】
问题 1:LLM 基础面解析,大模型损失函数核心是什么?
回答 1:LLM 基础面解析,大模型预训练阶段的核心损失函数是交叉熵损失,也就是负对数似然,用来衡量模型预测下一个 token 的概率和真实文本之间的差距。
问题 2:LLM 基础面解析,大模型损失函数里掩码起到什么作用?
回答 2:LLM 基础面解析,大模型损失函数依靠掩码控制哪些 token 参与损失计算,padding 掩码跳过填充位,因果掩码屏蔽未来 token,SFT 掩码跳过用户 prompt,只计算模型回答部分损失。
问题 3:LLM 基础面解析,标签平滑在大模型损失函数里有什么用处?
回答 3:LLM 基础面解析,标签平滑是交叉熵损失的正则变体,软化硬标签,避免模型过度自信、过拟合,优化输出概率分布的校准效果。
问题 4:LLM 基础面解析,RLHF 阶段还在用交叉熵作为大模型损失函数吗?
回答 4:LLM 基础面解析,RLHF 阶段不再只用交叉熵,核心是奖励损失,搭配 KL 散度损失做约束,用来对齐人类偏好,和预训练的损失目标不一样。
【参考资料】
[2026-10-29](大模型预训练目标:交叉熵损失与 PPL 详解)机器之心
[2026-10-12](LLM 自回归损失、掩码、标签平滑工程说明)NVIDIA NeMo 文档
[2026-09-18](Next Token Loss:负对数似然与交叉熵数学推导)arXiv
[2026-08-05](SFT、RLHF 不同阶段损失函数差异解读)AI 科技评论
【免责声明】
本文为大模型损失函数基础科普内容,不构成模型训练、调参的工程方案。不同开源框架、训练方案对损失掩码、权重、KL 系数的实现存在差异,实际训练效果受数据、学习率、批次、词表等多重因素影响,调参请以官方源码和实验结果为准。
本文来自作者[晶海同步者]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3682.html
评论列表(4条)
我是新新网的签约作者“晶海同步者”!
希望本篇文章《LLM 基础面解析大模型损失函数原理与变体》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:标准自回归大模型预训练的核心损失函数就是交叉熵损失(等价于负对数似然 NLL),它的目标是让模型在给定上文的前提下,提高下一个真实 t