全球首个原生3D动力学预测世界模型,RoboScience为机器人操作提供更精准的

先说结论:2026 年 11 月 20 日,RoboScience(机器科学)团队发布世界模型 WorldFlow,定位为全球首个原生 3D 动力学预测世界模型;它输入观测画面、一句语言指令和目标物体,就能在同一生成过程中联合预测未来视频画面与目标物体的三维运动轨迹,让机器人在动手之前先 "想象" 物体接下来怎么动,从而为抓取、放置等机器人操作提供更精准的物体运动预测。论文题为《WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining》,已公开在 arXiv,并配套项目主页;评测显示在多个仿真与真实数据集上,其平均位移误差(ADE)和最终位移误差(FDE)均低于对比方法,在空间推理数据集 SpatialCog 上 ADE 达 0.060 米,较最强外部基线降低 54.2%。需要注意的是,这仍是研究阶段的模型成果,当前版本需要预定义查询点,轨迹监督也存在自动生成带来的噪声,距离大规模真实产线部署还有迭代空间。

一、要解决的两个老问题

现有路线做法局限
2D 视频生成世界模型从视频学习物理交互经验,生成逼真的未来画面物体三维运动隐含在二维像素变化里,还要靠几何重建、运动跟踪反推,容易引入累积误差
直接预测 3D 运动轨迹跳过视频生成,直接输出三维轨迹缺少来自物理世界的视觉信号,模型难以理解不同实体之间的接触与交互,预测泛化能力有限

WorldFlow 的思路是把两条路打通:不先出视频再抽轨迹,而是让视频和三维运动在同一个模型里被联合预测,用视频里的视觉信息帮助模型理解三维物理运动。

二、WorldFlow 技术要点

1. 输入与输出

  • 输入:当前观测画面、语言指令、目标物体(三维查询点);
  • 输出:未来视频 + 目标物体的三维运动轨迹;
  • 应用示例:面对 "拿起黑色拖鞋,放到鞋架" 这类指令,模型先推演物体移动路径,再交给下层操作模型执行。

2. 核心建模方式

  • 把三维运动参数化为与视频网格对齐的连续位移 token(continuous displacement tokens);
  • 用统一的 Mixture-of-Transformers(MoT)骨干网络,在 rectified-flow(整流流)目标下对视频和 3D 位移两种模态联合去噪;
  • 显式几何动力学与视觉演化互相耦合,把预训练视频模型里沉淀的物理常识释放出来。

3. 训练与评测规模

项目数据 / 结果
训练样本144 万个物体级样本,覆盖仿真与真实世界混合场景
评测集 WorldFlowBench1678 个评测样本,来自 11 个数据源,涵盖仿真、真实交互和空间推理任务
整体表现三个评测集上 ADE、FDE 在参评学习类方法中均为最低
SpatialCog 空间推理集ADE 0.060 米,较最强外部基线降低 54.2%
相对 flow-only 变体ADE 降低 55.9%,FDE 降低 68.5%

三、在机器人操作链路里的位置

WorldFlow 属于 RoboScience 具身智能体系中的 "推演" 环节,和执行环节配合形成闭环:

层级角色对应模型 / 能力
规划层(认知)理解场景与指令,推演物体未来状态和 3D 轨迹具身世界模型(WorldFlow 属这一方向)
中间接口Object Trajectory(物体轨迹),用 3D 点云轨迹作为跨本体通用表示轨迹含位置坐标、位姿、时间步、预测置信度
执行层(动作)把轨迹转成接触点、力控信号和关节指令通用操作模型,对接机械臂、灵巧手、人形等不同本体

这套 "先推演、再执行、再推演" 的闭环,目的是让机器人在真实环境的不确定性下,先评估候选轨迹可行性,再选择成功率更高的动作落地。

四、背后的公司与数据积累

  • RoboScience 是深圳的具身智能初创公司,2026 年 6 月发布基于 VLOA(Vision-Language-Object-Action)架构的通用具身基础模型 Visics,用 Object Trajectory 中间层把认知与执行解耦,目标是跨本体、跨物体、跨任务泛化。
  • 世界模型侧:依托超 100 万小时物体中心的高维多模态视频数据(数千万片段),每周以数十万小时速度增长;操作模型侧:通过自研 RoboMirage 高保真物理仿真器积累约 100 亿实例全空间操作数据,目标 2026 年突破 1 万亿实例。
  • 落地展示:2026 年 8 月世界机器人大会上,团队公开过世界模型实时可视化推理过程,云端模型数秒内推演多条候选轨迹并选出最优一条,驱动灵巧手完成抓取放置,并演示 30 秒内跨构型换装灵巧手。

五、当前局限与后续方向

  • 查询点依赖:当前 formulation 需要预定义三维查询点,自动选择查询点是后续工作之一。
  • 监督噪声:轨迹监督来自自动生成流程,会带入一定噪声,影响预测精度。
  • 模态与动作衔接:未来计划探索多模态未来预测,以及 3D flow 与动作的联合生成,研究显式运动表示对策略学习的价值。
  • 部署成熟度:论文指标基于评测集与仿真 / 真实混合场景,真实产线中的长期稳定性、跨场景泛化和实时性仍需更多验证。

六、整体判断

WorldFlow 的意义在于把 "视频理解" 和 "三维动力学预测" 合并成一个联合生成任务,绕开了 "先生成视频、再反推轨迹" 的误差链条,这正是它被称为原生 3D 动力学预测世界模型的原因;对机器人操作而言,更准的物体运动预测意味着抓取、推送、放置前的预案更可靠。但从研究模型到可量产的机器人系统,还需要解决查询点自动化、监督数据质量、与控制策略的闭环集成等问题,短期更适合作为具身智能研发和演示验证环节的技术底座。

【相关 FAQ】

问题 1:RoboScience 发布的 WorldFlow 是什么,为什么被称为原生 3D 动力学预测世界模型?

回答 1:WorldFlow 是 RoboScience 机器科学团队发布的世界模型,核心是把三维运动作为与视频并列的独立生成模态,在同一生成过程中联合预测未来画面和物体三维轨迹,而不是先生成 2D 视频再反推三维运动,因此被称为原生 3D 动力学预测世界模型,用于给机器人操作提供更精准的物体运动预测。

问题 2:WorldFlow 输入什么、输出什么,在机器人操作里怎么用?

回答 2:它输入观测画面、语言指令和目标物体查询点,输出未来视频与目标物体的三维轨迹;轨迹作为 Object Trajectory 中间接口交给下层通用操作模型,转换成接触点、力控信号和关节指令,驱动机械臂或灵巧手完成抓取、放置等操作,形成 "推演 — 执行" 闭环。

问题 3:WorldFlow 的评测效果如何,目前还有哪些不足?

回答 3:WorldFlow 在自建 WorldFlowBench(1678 个样本、11 个数据源)上 ADE 和 FDE 均低于对比方法,空间推理集 SpatialCog 的 ADE 为 0.060 米、较最强外部基线降低 54.2%;不足是当前需要预定义查询点、轨迹监督存在自动生成噪声,未来还要做查询点自动选择、多模态预测以及 3D 轨迹与动作的联合生成。

【参考资料】

[2026-11-20](全球首个原生 3D 动力学预测世界模型,RoboScience 为机器人操作提供更精准的物体运动预测)新浪财经(机器之心)

[2026-11-20](WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining)arXiv

[2026-08-20](RoboScience 机器科学亮相 WRC 2026:行业首个云端世界模型实时可视化推理指导跨本体灵巧操作,REX G1 首秀)新华网

[2026-06-25](RoboScience Unveils Visics: VLOA Architecture Uses Object 3D Trajectory as Universal Interface for Cross-Body Robotic Intelligence)Embodied Global

[2026-05-19](General Manipulation Model — Introducing the VLOA Large Model (Part 2))RoboScience 官网

[2026-03-23](Embodied World Model — Introducing the VLOA Large Model (Part 1))RoboScience 官网

【免责声明】

本文内容整理自公开论文、企业官网及媒体报道,仅作技术信息梳理与科普;WorldFlow 的模型指标、数据集规模与评测结论以 arXiv 论文原文及官方项目主页为准;世界模型与机器人操作效果受场景、硬件、数据和部署环境影响,研究成果不等同于量产产品能力,本文不构成投资、采购或技术选型建议,后续迭代请以 RoboScience 官方发布为准。

本文来自作者[瞬熵聚合官]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/4882.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 瞬熵聚合官
    瞬熵聚合官 2026年11月20日

    我是新新网的签约作者“瞬熵聚合官”!

  • 瞬熵聚合官
    瞬熵聚合官 2026年11月20日

    希望本篇文章《全球首个原生3D动力学预测世界模型,RoboScience为机器人操作提供更精准的》能对你有所帮助!

  • 瞬熵聚合官
    瞬熵聚合官 2026年11月20日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 瞬熵聚合官
    瞬熵聚合官 2026年11月20日

    本文概览:先说结论:2026 年 11 月 20 日,RoboScience(机器科学)团队发布世界模型 WorldFlow,定位为全球首个原生 3D 动力学预测世界模型

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们