腾讯 Hy4 在本次第三方独立评测拿到 35 分,在国内实验室梯队里排在第二位,但是它的自知能力偏弱,“不知道就说不知道” 只有 11%,换算过来就是遇到自己没有掌握的问题时,89% 的概率会编造信息输出,也就是幻觉率偏高。这个结果说明模型综合能力分数和拒绝乱答的自知能力是两套独立指标,分数不错不代表它懂得主动承认自己不知道。这次评测使用 AA-Omniscience 评测集,同时统计模型答对率和幻觉率,答对率 50%,幻觉率 89%,我们可以分开看懂两个指标,再结合这个结果判断适合什么样的业务场景,最后给出使用上的结论。
评测指标说明
- 综合能力分:35 分,衡量模型推理、知识、任务完成的综合水平
- 自知能力:11%,代表遇到未知问题时,主动回复 “不知道”、拒绝编造答案的比例
- 幻觉相关:89%,不知道答案时选择编造虚假内容的比例
- 配套指标:AA-Omniscience 评测集答对率 50%
评测执行步骤
- 使用 AA-Omniscience v1.1 评测数据集,这批题目包含大量模型训练数据里不存在的冷门、虚构问题
- 输入问题给到腾讯 Hy4,区分三类输出:正确回答、承认不知道、编造错误答案
- 统计综合得分、自知比例、幻觉比例、答对率
- 和其他模型横向对比,区分能力跑分和防幻觉自知能力
适用场景判断清单
✅ 相对适合:
- 代码生成、方案初稿、创意生成、素材整理这类允许人工复核的场景
- 医疗诊断、法律咨询、金融投资决策、学术事实查证、对外正式答复等对事实准确性要求极高的场景
❌ 需要谨慎 / 不建议直接裸用:
使用优化建议
- 接入检索增强 RAG,先查资料再回答,减少凭空编造
- 增加后校验环节,对关键事实做二次核验
- 增加提示词约束,强制模型不确定时说明信息不足
- 重要业务不能只看综合跑分,必须单独做幻觉、自知能力专项测试
【相关 FAQ】
问题 1:腾讯 Hy4 独立评测 35 分是什么水平?
回答 1:腾讯 Hy4 独立评测 35 分在本次第三方智能指数榜单里处于国内实验室第二,综合能力属于上游,但这个分数没有体现它自知能力短板,它 “不知道就说不知道” 能力只有 11%,幻觉风险很高。
问题 2:腾讯 Hy4 “不知道就说不知道” 能力 11% 意味着什么?
回答 2:腾讯 Hy4 “不知道就说不知道” 能力 11%,代表 100 道它没有掌握的问题里,只有 11 道会如实说不知道,剩下 89 道会编造答案,很容易输出虚假信息,不能直接拿来做高可信事实问答。
问题 3:AA-Omniscience 评测是专门测腾讯 Hy4 的自知能力吗?
回答 3:AA-Omniscience 评测可以用来测试腾讯 Hy4 的自知能力与幻觉水平,本次评测就是用这套数据集测出腾讯 Hy4 “不知道就说不知道” 能力只有 11%,同时拿到 35 分综合成绩。
【参考资料】
[2026-11-07](腾讯 Hy4 的独立评测成绩:35 分,但 "不知道就说不知道" 的能力只有 11%)腾讯云开发者社区
[2026-11-04](Hy4 正式发布,跻身最强开源模型之列)腾讯网
[2026-11-04](Tencent Launches Hy4, Joining the Ranks of the World's Leading Open-Source AI Models)腾讯官网
【免责声明】
本文所有评测数据仅对应本次独立评测条件下的结果,不同评测数据集、提示词、模型版本、参数配置都会改变腾讯 Hy4 得分以及 “不知道就说不知道” 能力数值;内容仅做技术信息参考,不构成选型、投资、业务落地建议;模型幻觉问题需要使用者自行增加校验机制,因直接使用该模型输出内容造成的损失,本文不承担相关责任。
