港科广 Motion Forcing 框架单图生成无穿模驾驶视频，Waymo 物理合理性评测第一并开源

港科广推出的 Motion Forcing 框架，只需要一张初始图片，搭配稀疏的运动轨迹信息，就能生成不容易穿模、物理规则合理的自动驾驶场景视频，在 Waymo 数据集的物理合理性 Physics-IQ 指标拿到第一名，项目代码已经开源。之前市面上的图生视频模型有个很明显的痛点，要么只能靠文字描述控制，车辆、行人的运动不准，很容易出现物体穿插、穿模、飘移这类违背现实物理的 bug；还有一部分可控驾驶生成模型，需要大量复杂稠密的三维标注信息，普通人很难上手使用。而 Motion Forcing 换了一套分层生成思路，把画面几何和外观渲染拆开处理，优先保证运动逻辑，再生成画面，所以物理合理性优势突出。

核心原理

它采用「点→形状→外观」分层范式，把生成拆成三个阶段，同时区分自车运动和场景里其他物体的运动，不会互相干扰。

1. 点阶段：接收稀疏控制点、初始图像、运动轨迹，把用户的控制意图转换成几何点信号
2. 形状阶段：生成带深度信息的深度图，用深度形变来约束相机和物体运动，靠掩码点恢复策略，让模型自己推理被遮挡之后的运动走向，从根源减少穿模
3. 外观阶段：在稳定几何结构的基础上，渲染出最终高清视频画面

Waymo 基准测试对比

简单解读：Physics-IQ 越高代表物理越合理，FVMD 越低代表运动一致性越好；Motion Forcing 这两项指标优于其他模型，代价是 FVD（画面观感相似度）略低于闭源大模型，属于优先保障物理真实性的取舍方案。

上手使用步骤

1. 准备输入：一张驾驶场景初始图，加上自车、周边车辆稀疏运动轨迹，不需要复杂三维标注
2. 调用推理管线：先输出深度隐变量，锁定场景几何结构，规避穿模
3. 渲染生成视频：基于稳定几何结构输出连续视频，支持变道、加塞、避让这类交互驾驶场景
4. 验证：可在 Waymo、nuScenes 数据集上做碰撞、轨迹误差校验

适用场景与局限

✅ 适合：自动驾驶仿真场景生成、世界模型训练、危险工况数据扩充、物理交互视频生成

⚠️ 局限：优先保证物理一致性，画面观感分数不如闭源视频大模型；长视频持续生成还存在稳定性压力，主要面向自动驾驶仿真科研场景，不是面向普通用户的短视频创作工具

【相关 FAQ】

问题 1：Motion Forcing 框架单图生成驾驶视频为什么不容易穿模？

回答 1：Motion Forcing 框架采用点 - 形状 - 外观分层生成，先构建深度几何约束，分离自车和物体运动，搭配掩码点恢复机制推理遮挡后的运动，在 Waymo 测试里物理合理性指标领先，大幅减少穿模。

问题 2：Motion Forcing 在 Waymo 实测第一是哪个指标？

回答 2：Motion Forcing 在 Waymo 数据集上 Physics-IQ 物理合理性指标拿到第一，同时 FVMD 运动一致性指标最优，并不是画面画质 FVD 指标第一。

问题 3：Motion Forcing 开源之后可以直接拿来做自动驾驶仿真数据吗？

回答 3：可以，Motion Forcing 已经开源，支持输入单张图 + 稀疏轨迹生成避让、加塞等交互驾驶视频，适合扩充自动驾驶仿真工况数据，但要注意它画面观感弱于闭源图生视频模型。

问题 4：使用 Motion Forcing 生成驾驶视频，是不是必须提供大量三维标注？

回答 4：不需要，Motion Forcing 的核心优势就是稀疏输入，只需要一张初始图和简单运动轨迹，不用稠密三维标注，降低了可控驾驶视频生成门槛。

【参考资料】

[2026-03-17]（Motion Forcing: Decoupling Ego and Object Motion via Sparse Inputs for Structured Video Generation）arXiv

[2026-03-17]（Motion Forcing 项目主页与开源仓库）港科广课题组项目页

【免责声明】

本内容仅为前沿技术资讯科普，不构成商用落地建议；相关模型性能指标基于论文 Waymo 数据集测试结果，不同硬件、参数、输入条件下生成效果存在差异；开源项目使用请遵守项目自带开源协议，技术后续迭代性能可能发生变化。