智源 TALK 解读腾讯混元开源 Hy-Nomas,支持多轮交互与连续相机控制

智源 TALK 将带来腾讯混元 Hy-Nomas 的技术分享,这款 80 亿参数交互式视频世界模型已经开源,核心亮点就是可以记住前面每一步操作,支持多轮自然语言指令、连续相机轨迹控制,不再是一次性生成固定短视频,而是分段自回归持续生成虚拟场景,靠 KV 缓存保留历史交互信息,保证场景、物体、空间前后一致,普通 RTX4090 单卡就能跑低显存推理,同时配套了专门的评测基准 Hy-Nomas-Bench,用来衡量世界模型的空间记忆、镜头跟随能力,这次开源放出权重、代码、评测数据集,给 AI 世界模型、具身智能、虚拟漫游、影视分镜创作提供了可复现的基础方案,区别于普通视频生成模型,它把相机运动当成独立控制条件,文字指令和镜头移动可以交替操作,是从视频生成往可交互世界模型方向走的方案。

一、Hy-Nomas 核心基础信息

项目参数说明
模型骨干8B 参数扩散 DiT 架构
输出规格720×1280,24fps 视频片段
推理步数4~8 步去噪蒸馏版本
最低硬件单张 RTX4090,INT8+CPU 卸载低显存方案
开源协议主体代码、权重 Apache2.0;PixelUMM 解码器为非商用许可
配套基准Hy-Nomas-Bench,合计 280 组测试用例
核心能力多轮文本交互、连续相机轨迹控制、长时空间记忆

二、关键技术设计

  1. 分段自回归生成:不是一次性出完整视频,一段一段生成,每一段都读取历史 KV 缓存,记住之前添加的物体、场景设定,保证世界状态连贯。
  2. 动作感知因果注意力:描述性场景信息全程保留,单次动作指令只作用在对应时间段,避免旧指令持续干扰后续画面。
  3. 提示增强模块 PE:把用户口语化指令、交互历史转换成模型能识别的结构化提示,同时输出相机轨迹条件。
  4. 相机独立条件分支:相机移动、旋转、前进后退是单独输入条件,和文字提示分开控制,镜头轨迹可以精准定义。
  5. 多阶段课程训练:先学因果生成,再加入文本交互、相机控制,最后用模型自生成数据继续训练,再做扩散蒸馏提速。

三、可以落地的应用场景清单

  • AI 虚拟漫游、第一视角探索场景,像游戏一样 WASD 控制镜头移动
  • 影视、动画分镜快速预演,连续调整镜头运镜和场景元素
  • 具身智能仿真环境,给机器人视觉交互做模拟世界
  • 交互式内容创作,边看画面边改场景、加物体、换风格
  • 世界模型算法研究,可直接用配套 Bench 做对比测试

四、当前的局限和风险点

  1. PixelUMM 解码器存在非商用限制,完整流水线产出内容不能直接商用。
  2. 长时连续交互下,空间一致性会慢慢衰减,物体位置、细节容易漂移。
  3. 复杂物理逻辑、精细物理碰撞还没有内置,适合视觉漫游,不适合高精度仿真。
  4. 单卡 4090 是轻量化推理方案,长片段生成速度偏慢。

【相关 FAQ】

问题 1:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 和普通视频生成模型最大差别是什么?

回答 1:智源 TALK 解读腾讯混元开源 Hy-Nomas,普通视频模型一次性生成固定短片,Hy-Nomas 支持多轮交互、连续相机控制,会记住每一步操作,分段持续延伸虚拟世界,重点解决空间记忆和镜头可控性。

问题 2:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 能不能在单卡 RTX4090 上运行?

回答 2:智源 TALK 解读腾讯混元开源 Hy-Nomas,官方提供了适配 RTX4090 的低显存推理方案,采用 INT8 权重、KV 缓存和 CPU 卸载,4-8 步蒸馏版本可以跑通。

问题 3:智源 TALK 解读腾讯混元开源 Hy-Nomas,Hy-Nomas 开源之后是不是所有内容都可以商用?

回答 3:智源 TALK 解读腾讯混元开源 Hy-Nomas,模型主体代码、权重是 Apache2.0 协议,但配套 PixelUMM 解码器属于 NVIDIA 非商用许可,完整流水线产出内容不能商用。

【参考资料】

[2026-11-16](智源 TALK|腾讯混元 Hy-Nomas:从视频生成迈向可交互的世界模型)北京智源人工智能研究院

[2026-10-27](Hy-Nomas: Towards Free-form Interactive World Generation)arXiv

[2026-10-24](腾讯混元 Hy-Nomas 开放交互式视频世界模型,支持文本与相机轨迹连续控制)沙丘社区

[2026-10-21](Tencent Open-Sources Hy-Nomas Interactive World Model)TSN

【免责声明】

本文智源 TALK 解读腾讯混元开源 Hy-Nomas 相关内容仅为公开论文、开源项目信息整理,只做技术科普,不构成商用落地、采购硬件、项目投入的建议;组件许可、商用限制请以 GitHub、HuggingFace 官方仓库协议为准。

本文来自作者[元轨映射]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3768.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 元轨映射
    元轨映射 2026年11月17日

    我是新新网的签约作者“元轨映射”!

  • 元轨映射
    元轨映射 2026年11月17日

    希望本篇文章《智源 TALK 解读腾讯混元开源 Hy-Nomas,支持多轮交互与连续相机控制》能对你有所帮助!

  • 元轨映射
    元轨映射 2026年11月17日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 元轨映射
    元轨映射 2026年11月17日

    本文概览:智源 TALK 将带来腾讯混元 Hy-Nomas 的技术分享,这款 80 亿参数交互式视频世界模型已经开源,核心亮点就是可以记住前面每一步操作,

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们