先说核心结论:上海人工智能实验室 Intern Robotics 团队发布的 EgoExplorer,用 5 个 VIVE Ultimate Tracker 加一副数据手套和一台头戴 GoPro,替代了需要固定场地、相机阵列和标定空间的动作捕捉棚,在普通实验室、工厂、客厅里直接采集人形机器人训练用的多模态具身数据,已经攒出 2715 条记录、共 100 小时的公开数据集。这套方案的关键不是硬件多先进,而是 C³(Calibrate-Complete-Constrain)运动重建管线:先标定身体与传感器的固定几何,再用时序先验补全没被追踪到的关节,最后加三层物理约束把动作修正得合理,最终身体点误差比最强基线低 71.9%(18.0mm vs 64.1mm)。下面把它解决的问题、硬件组成、管线原理、数据规模和验证结果拆开讲。
一、为什么要替掉动捕棚:现有数据集缺的是 "边走边操作" 的耦合
人形机器人要学的是移动操作(loco-manipulation):走到工作台、俯身取物、转身放置,手里抓握全程不能松。行走姿态和手部操作是同一时刻互相牵制的,拆成 "先走再做" 两段就丢了真实行为。现有采集方式各有缺口:
| 现有方案 | 有什么 | 缺什么 |
|---|---|---|
| 动作捕捉棚(多相机阵列) | 稠密全身测量 | 要预先布置标定场地,搬不出去,无法规模化 |
| Ego4D(3670 小时第一视角视频) | 视觉语义广 | 没有传感器测得的身体与手部状态 |
| Nymeria(300 小时可穿戴) | 全身运动 | 没有手指关节与触觉 |
| EgoTouch / OpenTouch(20h / 5h) | 触觉 | 没有全身运动 |
EgoExplorer 要同时满足两条:模态完整(视觉、全身运动、手指关节、接触触觉对齐到同一时间基准),采集可规模化(轻量、便携、无需改造环境、多人多点并行)。
二、硬件组成:5 个追踪器、两只手套、一台相机
全部用商用现成可穿戴设备,数分钟完成佩戴,无需基站、标记点或环境改造:
| 采集流 | 硬件 | 参数 | 作用 |
|---|---|---|---|
| 全身追踪 | 5 个 VIVE Ultimate Tracker,戴在头部、双手背、双踝外侧 | 60Hz,inside-out 6DoF,无外部基站 | 头 / 手给出度量尺度的相机与末端轨迹;踝部记录落脚位置,约束头戴相机视野之外的站姿与支撑 |
| 第一视角视频 | GoPro HERO13 + Media Mod,3D 打印支架与头追踪器刚性固连 | 30Hz,1920×970 | 相机位姿由追踪器直接测量,不用事后视觉估计 |
| 手指关节 | MANUS Metagloves Pro(无触觉) | 每只手套 5 个 6DoF 指尖 EMF 传感器,120Hz | 直接测量手指关节,补相机看不到的手部动作 |
| 手掌触觉(选配) | Wuji 手套 | 24×31 阵列,每手 744 个 taxel、526 个有效,覆盖 17 个区域,120Hz | 记录接触受力,反映视觉判断不了的接触状态 |
设备佩戴位置固定后,体型标定和安装标定结果可跨任务复用,换任务不用重新标定,这是能多人多点复制部署的前提。
三、5 个锚点怎么还原全身:C³ 管线三步走
只有 5 个追踪点恢复全身运动是欠约束问题:每个观测同时受 "安装偏差" 和 "关节姿态" 影响,直接拟合会把安装误差吞进关节运动;而且肘、膝等中间关节根本没被观测。C³ 管线把固定的身体 - 传感器几何和随时间变化的运动分开处理:
- Calibrate 标定:采集者做一套规定动作(站立、A/T 姿势、屈肘、浅蹲、抬腿等),系统按动作阶段与参考动作库自动对齐,结合实测身高拟合体型、尺度和每个传感器到对应关节的变换。这套参数档案每次佩戴只估一次。
- Complete 补全:把追踪器位姿换算为头、腕、踝的解剖锚点;把 AvatarPoser 从 "头 + 双手" 扩展到 5 锚点,在 AMASS 上训练作为时序运动先验,补全 17 个未观测关节,生成初始全身轨迹(运动提案)。
- Constrain 约束:三层联合精修 ——
- L1 骨骼层:保证与测量一致、时序连续;
- L2 表面层:按受试者个体体型,抑制身体各部位自穿插;
- L3 地面层:约束身体与地面一致,防止足部穿地。
- 最后把手套的手指姿态和触觉作为直接交互证据融合进重建结果,并接入专家引导的步骤级标注与人工复核。
四、精度指标:误差降低 71.9%,消融证明标定最关键
以追踪器拟合结果为参考,在评估子集上:
| 指标 | EgoExplorer | 最强基线(5 锚点重训 AvatarPoser) |
|---|---|---|
| 全身身体点误差 | 18.0mm | 64.1mm(降低 71.9%) |
| 未被追踪覆盖的 17 个关节误差 | 20.3mm | — |
消融实验逐层验证各层作用:
| 配置 | 身体点误差 | 每帧穿插对数 | 地面违规比例 |
|---|---|---|---|
| 运动提案(无约束) | 79.0mm | 82.6 | 29.5%(注:提案阶段基准) |
| +L1 骨骼层 | 16.1mm | 72.8 | 57.3% |
| +L1+L2 表面层 | 18.1mm | 38.7 | 61.4% |
| +L1+L2+L3 完整方法 | 18.0mm | 38.7 | 6.0% |
反证标定重要性:用平均体型替代标定体型,误差升到 59.5mm;训练时不做安装标定升到 95.0mm,仅测试时不做升到 98.1mm。结论:恢复运动之前先固定身体 - 传感器几何,是整套方法的关键。
五、数据集:2715 条、100 小时、5 类环境、10 类任务
- 规模:2715 条第一视角记录,合计 100 小时,四路数据统一在 30Hz 时间网格:第一视角视频、SMPL-X 全身运动、手套手指关节、每手 24×31 触觉阵列。
- 环境分布:化学实验室(41% 记录 / 46% 时长)、书房 23%、工业车间 17%、备餐区 11%、客厅 8%,覆盖实验室、工厂、家庭三类场所。
- 任务:10 类模板,专业任务(称量、液液萃取、反应搭建、旋转蒸发、烘箱干燥、柱层析等化学实验)加日常任务(折纸箱、整理书架、叠衣服、做三明治);保留接近目标、调整姿态、操作物体、转移位置之间的过渡,还记录了被打断后恢复的片段。
- 标注:视觉语言模型按第一视角视频、任务说明和专家技能文档切分子任务(起止时间、技能标签、物体工具角色、结果),再人工逐段复核时间对齐与语义一致。
六、数据用来干什么:世界模型与仿真动作重定向(均为初步验证)
- 多模态世界模型:改造 Cosmos3-Edge 联合生成视频、SMPL-X 动作和触觉。联合生成优于分别建模:视频 PSNR 15.94→16.62dB,接触 F1 0.610→0.694,动作 MSE 0.059→0.044;以视频为条件动作 MSE 从 0.0478 降到 0.0277,再加触觉降到 0.0264,证明多模态同步采集的互补价值。
- 人到人形机器人重定向:把称量、反应搭建两段记录重定向到 Unitree G1,用 ZeroWBC 风格全身控制器在仿真中跟踪,实现边走边操作的复现;真实机器人上的收益仍待验证。
七、开放情况
- 重建代码已在 GitHub 开源;
- 100 小时全量数据发布在 Hugging Face,采用 LeRobot v3.0 格式,可直接接入现有机器人学习框架;
- 项目主页、论文(arXiv:2610.18872)均已公开。
【相关 FAQ】
问题 1:5 个追踪器凭什么能替掉动捕棚?
回答 1:动捕棚靠密集相机阵列直接测量全身,而 EgoExplorer 这套可穿戴管线只用 5 个追踪器(头、双手、双踝)做稀疏锚点,配合 C³ 管线先标定身体 - 传感器几何、再补全未观测关节、最后加骨骼 / 表面 / 地面三层约束,把身体点误差压到 18.0mm,且无需基站和场地改造,所以能在实验室、工厂、客厅等真实环境替掉动捕棚完成具身数据采集。
问题 2:上海 AI Lab 这套可穿戴具身数据采集管线一共采了多少数据、哪些模态?
回答 2:EgoExplorer 已采集 2715 条记录共 100 小时,在 30Hz 统一时间网格上同步输出四路模态:头戴 GoPro 第一视角视频、5 追踪器重建的 SMPL-X 全身运动、MANUS 手套测得的手指关节,以及 Wuji 手套的手掌触觉阵列,覆盖 5 类环境 10 类任务模板,全部数据以 LeRobot v3.0 格式在 Hugging Face 开源。
问题 3:5 个追踪器只有 5 个锚点,怎么还原出完整全身运动?
回答 3:靠 C³(Calibrate-Complete-Constrain)管线:标定阶段用规定动作拟合体型和传感器 - 关节变换,补全阶段把 AvatarPoser 扩展为 5 锚点并在 AMASS 上训练,补全 17 个未观测关节生成运动提案,约束阶段用骨骼测量一致、表面防自穿插、地面防穿地三层精修,未被追踪的肘、膝等关节误差也只有 20.3mm。
问题 4:这套 5 个追踪器的具身数据采集管线采的数据能直接训练人形机器人吗?
回答 4:目前只做了初步验证:多模态世界模型联合生成指标优于分别建模,两段动作已在仿真中重定向到 Unitree G1 全身控制器;真实人形机器人上的模仿学习收益还需进一步验证,但数据按 LeRobot v3.0 格式开源,可直接接入现有机器人学习框架做后续研究。
【参考资料】
- [2026-11-19](5 个追踪器替掉动捕棚:上海 AI Lab 把具身数据采集做成了可穿戴管线)量子位(ZAKER 转载)
- [2026-10-29](中国研究人员发明新型可穿戴系统 可采集人体活动数据用于机器人训练)凤凰网・盖世汽车
- [2026-10-26](Wearable Sensors Advance Humanoid Robot Training)Electronics For You
- [2026-10-25](Wearable system captures human motion data to train humanoid robots)HyperAI 超神经
- [2026-10-23](使用 Manus 数据手套捕捉多模态人体演示)搜狐・搜维尔科技
- [2026-10-19](EgoExplorer: Capturing Multimodal Human Demonstrations with MANUS Gloves)MANUS 官网
- [2026-10-13](EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ)arXiv
【免责声明】
本文为科技资讯整理,内容基于 arXiv 预印本论文及公开报道,论文尚未经同行评审,文中精度指标、数据集规模均为研究团队自报;人形机器人重定向与世界模型结果仅为仿真和有限步数的初步探索,不代表已实现真实机器人训练效果。文中涉及的硬件品牌(VIVE、GoPro、MANUS、Wuji、Unitree、Cosmos)仅为事实陈述,不构成产品推荐或商业背书。数据获取与使用请以 Hugging Face 与 GitHub 官方页面的许可条款为准。
本文来自作者[碳境分发]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/4615.html
评论列表(4条)
我是新新网的签约作者“碳境分发”!
希望本篇文章《5 个追踪器替掉动捕棚上海 AI Lab 的 EgoExplorer 可穿戴具身数据采集管线详解》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:先说核心结论:上海人工智能实验室 Intern Robotics 团队发布的 EgoExplorer,用 5 个 VIVE Ultimate Tracker 加一副数据手套和