智源 TALK 将带来腾讯混元 Hy-Nomas 的技术分享,这款 80 亿参数交互式视频世界模型已经开源,核心亮点就是可以记住前面每一步操作,支持多轮自然语言指令、连续相机轨迹控制,不再是一次性生成固定短视频,而是分段自回归持续生成虚拟场景,靠 KV 缓存保留历史交互信息,保证场景、物体、空间前后一致,普通 RTX4090 单卡就能跑低显存推理,同时配套了专门的评测基准 Hy-Nomas-Bench,用来衡量世界模型的空间记忆、镜头跟随能力,这次开源放出权重、代码、评测数据集,给 AI 世界模型、具身智能、虚拟漫游、影视分镜创作提供了可复现的基础方案,区别于普通视频生成模型,它把相机运动当成独立控制条件,文字指令和镜头移动可以交替操作,是从视频生成往可交互世界模型方向走的方案。
一、Hy-Nomas 核心基础信息
| 项目 | 参数说明 |
|---|---|
| 模型骨干 | 8B 参数扩散 DiT 架构 |
| 输出规格 | 720×1280,24fps 视频片段 |
| 推理步数 | 4~8 步去噪蒸馏版本 |
| 最低硬件 | 单张 RTX4090,INT8+CPU 卸载低显存方案 |
| 开源协议 | 主体代码、权重 Apache2.0;PixelUMM 解码器为非商用许可 |
| 配套基准 | Hy-Nomas-Bench,合计 280 组测试用例 |
| 核心能力 | 多轮文本交互、连续相机轨迹控制、长时空间记忆 |
二、关键技术设计
- 分段自回归生成:不是一次性出完整视频,一段一段生成,每一段都读取历史 KV 缓存,记住之前添加的物体、场景设定,保证世界状态连贯。
- 动作感知因果注意力:描述性场景信息全程保留,单次动作指令只作用在对应时间段,避免旧指令持续干扰后续画面。
- 提示增强模块 PE:把用户口语化指令、交互历史转换成模型能识别的结构化提示,同时输出相机轨迹条件。
- 相机独立条件分支:相机移动、旋转、前进后退是单独输入条件,和文字提示分开控制,镜头轨迹可以精准定义。
- 多阶段课程训练:先学因果生成,再加入文本交互、相机控制,最后用模型自生成数据继续训练,再做扩散蒸馏提速。
三、可以落地的应用场景清单
- AI 虚拟漫游、第一视角探索场景,像游戏一样 WASD 控制镜头移动
- 影视、动画分镜快速预演,连续调整镜头运镜和场景元素
- 具身智能仿真环境,给机器人视觉交互做模拟世界
- 交互式内容创作,边看画面边改场景、加物体、换风格
- 世界模型算法研究,可直接用配套 Bench 做对比测试
四、当前的局限和风险点
- PixelUMM 解码器存在非商用限制,完整流水线产出内容不能直接商用。
- 长时连续交互下,空间一致性会慢慢衰减,物体位置、细节容易漂移。
- 复杂物理逻辑、精细物理碰撞还没有内置,适合视觉漫游,不适合高精度仿真。
- 单卡 4090 是轻量化推理方案,长片段生成速度偏慢。
【相关 FAQ】
问题 1:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 和普通视频生成模型最大差别是什么?
回答 1:智源 TALK 解读腾讯混元开源 Hy-Nomas,普通视频模型一次性生成固定短片,Hy-Nomas 支持多轮交互、连续相机控制,会记住每一步操作,分段持续延伸虚拟世界,重点解决空间记忆和镜头可控性。
问题 2:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 能不能在单卡 RTX4090 上运行?
回答 2:智源 TALK 解读腾讯混元开源 Hy-Nomas,官方提供了适配 RTX4090 的低显存推理方案,采用 INT8 权重、KV 缓存和 CPU 卸载,4-8 步蒸馏版本可以跑通。
问题 3:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 开源之后是不是所有内容都可以商用?
回答 3:智源 TALK 解读腾讯混元开源 Hy-Nomas,模型主体代码、权重是 Apache2.0 协议,但配套 PixelUMM 解码器属于 NVIDIA 非商用许可,完整流水线产出内容不能商用。
【参考资料】
[2026-11-16](智源 TALK|腾讯混元 Hy-Nomas:从视频生成迈向可交互的世界模型)北京智源人工智能研究院
[2026-10-27](Hy-Nomas: Towards Free-form Interactive World Generation)arXiv
[2026-10-24](腾讯混元 Hy-Nomas 开放交互式视频世界模型,支持文本与相机轨迹连续控制)沙丘社区
[2026-10-21](Tencent Open-Sources Hy-Nomas Interactive World Model)TSN
【免责声明】
本文智源 TALK 解读腾讯混元开源 Hy-Nomas 相关内容仅为公开论文、开源项目信息整理,只做技术科普,不构成商用落地、采购硬件、项目投入的建议;组件许可、商用限制请以 GitHub、HuggingFace 官方仓库协议为准。
本文来自作者[元轨映射]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3768.html
评论列表(4条)
我是新新网的签约作者“元轨映射”!
希望本篇文章《智源 TALK 解读腾讯混元开源 Hy-Nomas,支持多轮交互与连续相机控制》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:智源 TALK 将带来腾讯混元 Hy-Nomas 的技术分享,这款 80 亿参数交互式视频世界模型已经开源,核心亮点就是可以记住前面每一步操作,