普通多模态大模型看视频只能靠画面直接猜答案，很容易搞错重力、摩擦、碰撞这类隐藏物理规律，清华推出的 Asking the World（简称 ATW）解决了这个痛点，这套框架的思路就是 AI 先看懂视频画面，自动搭建一套可以运行的虚拟物理世界，接着在仿真环境里自主设计实验、修改条件、模拟推演，用物理仿真结果来回答物理相关问题，而不是单纯靠语言或者视觉猜，在 CLEVRER、ContPhy 等物理推理基准测试上，它相比直接用 VLM 回答准确率提升幅度很大，还支持刚体、软体、布料、流体等多种材质交互，不需要提前微调模型，通用性更强。下面拆开讲它的两大核心阶段、配套引擎、评测数据和适用场景。
一、两大核心阶段：建模 + 探测实验
1. 世界建模（World Modeling）
- 任务：读取输入视频，识别里面的物体、空间位置，还原看不见的物理参数，比如质量、摩擦系数、阻尼
- 实现方式：依靠 CEM 系统辨识方法，从视频画面里反向推算物理动力学参数
- 输出结果：生成一个和视频场景对齐、可以交互运行的仿真世界，不是静态图片，是能模拟运动的环境
- 特点：模型会根据问题自动决定哪些物体、哪些物理属性需要重点还原，不会无差别建模全部细节
2. 世界探测（World Probing），也就是 AI 自主做实验
- 任务：针对用户提出的问题，在建好的仿真世界里主动做干预实验
- 支持三种探测方式：属性查询、正向运动仿真、反事实条件改动
- 举例：问 “如果小球更重会发生什么”，AI 直接在仿真里修改质量参数，重新跑一遍碰撞模拟，拿到结果再回答
- 特点：实验方案由智能体自己决定，不是写死固定流程，适配不同物理问题
二、配套核心：PolyWorld Engine 仿真引擎
- 底层基于 Warp 开发，轻量可编程多物理仿真引擎
- 支持对象：刚体、软体、绳索、布料、流体，以及多种物体耦合交互
- 作用：给 ATW 提供可随时修改、反复模拟的虚拟实验台，是整个框架的执行底座
- 和普通视频生成模型区别：它重点算物理动力学，而不是只生成好看画面
三、核心评测数据
| 评测数据集 | ATW 准确率 | 对比基准（Gemini-3-Flash 直接推理） | 提升幅度 |
|---|---|---|---|
| CLEVRER | 80.82% | 34.32% | +46.50% |
| ContPhy | 70.56% | 42.46% | +28.10% |
| 真实场景测试集 | 71.67% | 43.34% | +28.33% |
补充说明：ATW 是团队 PhysMind 的续作，在 PhysMind 基础上放开了自主实验决策，拓展到更多材料和复杂物理场景，框架本身不需要额外训练微调，直接调用视觉语言基座模型就能跑。
四、适合解决的问题类型
- 物理属性推断：物体大概多重、摩擦力大小、材质软硬
- 运动预测：碰撞之后物体往哪个方向飞、会不会停下
- 反事实推理：改变某个条件，结果会怎么变
- 多物体耦合交互：布料、液体、绳子一起运动的复杂场景
五、整体运行流程清单
- 输入一段视频 + 用户物理问题
- 世界建模模块解析视频，识别物体，反推物理参数，搭建可运行仿真世界
- 智能体分析问题，决定要做哪些仿真实验、改动哪些参数
- 在 PolyWorld Engine 中执行模拟、干预，收集实验证据
- 结合仿真结果整理答案，输出物理推理结论
【相关 FAQ】
问题 1：清华 Asking the World（ATW）是怎么做到 AI 看视频建世界、做物理实验的？
回答 1：清华 Asking the World（ATW）分为世界建模和世界探测两步，先读取视频识别物体、反向还原物理参数搭建可运行仿真世界，再由智能体自主设计干预实验，在 PolyWorld Engine 仿真引擎里模拟推演，依靠仿真结果完成物理推理回答。
问题 2：清华 Asking the World（ATW）和普通的多模态大模型看视频推理有什么不一样？
回答 2：普通多模态模型直接根据画面猜答案，容易忽略隐藏物理规则；清华 Asking the World（ATW）会先搭建虚拟物理世界，主动做仿真实验获取证据，用物理仿真结果支撑结论，物理推理准确率明显更高。
问题 3：清华 Asking the World（ATW）的 PolyWorld Engine 仿真引擎可以模拟哪些物体？
回答 3：清华 Asking the World（ATW）配套的 PolyWorld Engine 支持刚体、软体、布料、绳索、流体，还可以处理多种物体之间耦合交互，覆盖很多复杂物理场景。
问题 4：使用清华 Asking the World（ATW），需要提前对模型做大量微调训练吗？
回答 4：不需要，清华 Asking the World（ATW）是免训练框架，直接调用 Gemini-3-Flash 这类视觉语言基座模型就可以运行，相比很多专用物理模型，使用门槛更低。
【参考资料】
[2026-11-10]（看视频、建世界、做实验：清华 Asking the World 让 AI 用物理回答问题）新浪财经
[2026-09-25]（Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing）arXiv
[2026-11-10]（清华 ATW 物理推理框架：让 AI 自主构建仿真世界做实验）机器之心
[2026-09-28]（从 PhysMind 到 ATW：清华物理推理智能体新进展）量子位
【免责声明】
本文仅对清华 Asking the World（ATW）科研框架做科普解读，该成果属于学术研究原型，未面向大众开放商用；相关性能指标、评测结果以论文和项目主页原始数据为准，不代表落地产品能力，不构成技术选型、项目开发的落地建议。