我核对了苹果的 arXiv 原文、IT 之家和行业媒体的报道，HALO 与英伟达的同名产品 “Halos” 是两回事，这一点也在文中写清楚了。成稿如下。
苹果 HALO 人形机器人控制系统：宇树 G1 零样本实测 91%，三层控制全跑在机器人身上
当地时间 11 月 4 日，苹果研究团队在预印本平台 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》，公开了人形机器人自主控制系统 HALO。HALO 是 Humanoid Autonomy, Learned in simulation, running Onboard 的缩写，意思是 “在仿真里学会、在机器人本机上运行”。论文作者是清一色的苹果研究员（Siyuan Hu、Abulikemu Abuduweili、Yue Meng、Shipeng Liu、Quentin Leboutet、Chen Chen、Matthias Müller、Vladlen Koltun），没有外部合作单位。验证平台用的是市售的宇树 G1，训练全程没见过一个真实房间，只靠 1000 个程序化生成的虚拟家庭、约 300 小时合成数据，然后在 6 个从未扫描、从未建图的真实房间里做了 360 次单项任务测试，平均成功率 91%。整套三层控制没有一层依赖云端，全部在机器人身上跑，断网也能用。代码、数据生成流程、训练和部署脚本一并开源。
三层架构：谁负责 “想”，谁负责 “动”
HALO 不是一个大模型端到端出关节角度，而是明确切成三层，每层跑在不同频率上：
| 层级 | 干什么 | 频率 | 用什么模型 | 跑在哪 |
|---|---|---|---|---|
| 任务编排 Orchestrator | 把 “坐下” 这种模糊指令拆成子任务序列，判断当前子任务成没成，失败重试 | 约 0.5Hz，每 2 秒调一次 | Qwen3.6-35B-A3B（4-bit，MLX），可切换云端 API | Mac mini M4 Pro，与动作生成器共用推理引擎 |
| 动作生成 Motion Generator | 看当前第一视角画面＋子任务，输出未来 5 秒全身运动学轨迹 | 3Hz 重规划，5 秒滚动视界 | Qwen3.5-2B 冻结编码器＋DiT 解码器（8 块、宽 512、8 头，flow matching，15 步 Euler） | 同一台 Mac mini |
| 动作跟踪 Tracker | 把轨迹落成关节指令，用深度图和本体感知纠偏 | 50Hz | 强化学习＋多教师蒸馏＋微调，C++ 实时进程（PREEMPT_RT） | G1 自带的 Jetson Orin NX |
三个关键设计，值得单独拎出来：
- 分层但不割裂。编排器只管语义（“哪把椅子”），生成器管轨迹（“怎么过去”），跟踪器管物理（“真坐上去怎么不摔”）。论文强调前两层解决语义那一半，第三层解决物理那一半。
- 生成器是异步跑的。跟踪器执行当前计划的同时，生成器在算下一段，避免推理时机器人 “定住不动” 造成动作断裂；新旧计划在交接点必须平滑续上，否则会抖。
- 跟踪器是 “带眼睛” 的。此前多数方法把生成的轨迹丢给纯本体感知的盲跟踪器，环境一偏离计划就没法反应；HALO 把第一视角深度接进低层控制，遇到没预料到的几何变化能自己协商。
91% 怎么测出来的：三个数字别混着读
| 测试内容 | 条件 | 次数 | 成功率 |
|---|---|---|---|
| 单项技能 | 6 个未建图真实房间 | 360 次 | 91% |
| 组合任务（3 类） | 单一真实场景，每类 10 次 | 30 次 | 平均 70% |
| 最复杂组合：俯身过障→走向目标→推箱子 | 同一场景，10 次 | 10 次 | 50% |
能做的事包括：坐到椅子上、走到指定物体旁、从半开的门侧身穿过、俯身或爬行钻过桌底、推箱子。这些都是需要理解空间、随时调整姿态的任务，不是预先编排好的动作回放。
要注意三个数的口径完全不同：91% 是 “单项技能 × 6 个房间 × 360 次” 的平均值，70% 是 “三种组合任务各 10 次” 的平均值，50% 是最难那一组单独 10 次的结果。把 91% 当成 “这台机器人什么都能干成九成” 是误读，任务越长、环节越多，成功率掉得越明显。
数据不再靠人拍：用算力换人力的那套账
论文开篇就点破了人形机器人的数据瓶颈：把像素和自由语言映射到关节指令，需要成对的监督数据，而这种数据根本不存在足够大的规模。遥操作和穿戴动捕的代价是 “至少一小时人力产出一小时数据”。
HALO 的做法是整条链路搬到仿真里：
- 动作扩散模型生成全身动作片段，按文本提示和关键帧拆段
- 程序化生成器搭出 1000 个虚拟家庭，把动作嵌进场景并保证不穿模
- 模拟器按机器人头部相机的视角渲染第一视角画面，再叠加模糊、噪声、曝光变化做视觉域随机化
产出约 300 小时、覆盖六类技能的合成数据。质量靠自动校验器兜底，不靠人工看片。
训练开销也不是小数目：
| 环节 | 算力 | 耗时 |
|---|---|---|
| 主训练数据合成 | 250 张 H100 | 约 48 小时 |
| 动作生成器（模仿学习） | 64 张 B200 | 未披露 |
| 动作跟踪器（强化学习＋蒸馏） | 4 张 H100 | 未披露 |
这套账的潜台词很清楚：贵的是算力，不是人力；数据量可以随显卡线性扩张，不用等摄影师和动捕演员排期。但论文也承认没完全摆脱人工 —— 新增物理任务仍要人写提示词、设计动作关键帧，部分动作还用了人类视频或动捕素材。
硬件清单：一台量产机＋一个 3D 打印头壳＋一台 Mac mini
| 部件 | 规格 |
|---|---|
| 机器人本体 | 宇树 G1（市售版），两处改装 |
| 头部相机 | OAK-1W，120° 视场，1280×800，30fps |
| 下视深度 | Intel RealSense D435i，下俯 55°，424×240，30fps |
| 机载算力 A | Mac mini M4 Pro，64GB 统一内存，装在后置外壳里 |
| 机载算力 B | G1 自带 Jetson Orin NX，跑跟踪器 |
| 通信 | ZeroMQ，两机全无线缆异步级联 |
| 可靠性处理 | 绕开 D435i 原生深度，把原始双目 IR 送进 TensorRT 立体匹配，30Hz 出干净深度 |
这个配置说明一件事：HALO 对硬件的要求不高，一台消费级迷你主机加一台量产人形机器人的板载芯片就能撑起来。选择宇树 G1 也不是因为它是苹果自研，而是因为它是市面上买得到、变量可控的平台。
这套东西现在还干不了什么
- 只有视觉，没有触觉。机器人难以直接感知接触情况，物体离开相机视野或被遮挡时，涉及较多接触的任务成功率会掉。论文把 “加触觉” 列为后续改进方向。
- 组合任务衰减明显。70% 的平均值、最难的 50%，说明长序列编排还是薄弱环节，主要靠编排器的重试来补。
- 单平台验证。全部实验只在宇树 G1 上做，换本体、换关节数量、换相机位置是否还能复现，论文没有覆盖。
- 没有第三方独立复现。数据全部由作者团队自测，截至目前没有外部实验室的重复实验结果。
- 场景限于室内家居。这六类技能都围绕客厅、餐厅、桌底这类结构化空间，户外、工业、多人环境都没涉及。
跟苹果自家机器人产品线的关系，别混为一谈
需要说明的是，HALO 是研究项目，不是产品。据电子工程专辑报道，苹果另有一条家用机器人产品线，代号 J595，形态是约 9 英寸屏幕装在可旋转机械臂上，计划售价约 1000 美元，最早 2027 年推出，因软件进度已存在推到 2028 年的可能。这两条线一条在实验室解泛化问题，一条在消费市场做有限切口，不能互相替代。另外，英伟达在 2026 年 6 月发布的机器人安全体系叫 Halos（多一个 s，全栈安全系统），与苹果这个 HALO 是两个完全不同的东西，检索时极易混淆。
【相关 FAQ】
问题 1：苹果 HALO 人形机器人控制系统到底是什么？
回答 1：苹果 HALO 人形机器人控制系统是苹果研究团队在 2026 年 11 月 4 日通过 arXiv 论文公开的人形机器人自主控制方案，全称 Humanoid Autonomy, Learned in simulation, running Onboard，核心是在仿真里合成训练数据、在机器人本体上分层运行，让机器人在没见过的真实房间里自主完成坐椅子、钻桌底、推箱子这类任务。
问题 2：苹果 HALO 人形机器人控制系统的 91% 成功率是怎么算的？
回答 2：苹果 HALO 人形机器人控制系统的 91% 来自 6 个未预先扫描或建图的真实环境中 360 次单项任务测试的平均值；同一论文里，三类组合任务在单一场景各测 10 次平均为 70%，最复杂的 “俯身过障 — 走向目标 — 推箱子”10 次只成 5 次，为 50%。
问题 3：苹果 HALO 人形机器人控制系统用了哪些模型，需要联网吗？
回答 3：不需要联网。苹果 HALO 人形机器人控制系统默认在机器人搭载的 Mac mini 上用 Qwen3.6-35B-A3B（4-bit MLX）做任务编排，用 Qwen3.5-2B 作冻结编码器配 DiT 解码器做动作生成，两者共用推理引擎；只有想获得更强规划能力时才可选走云端 API。
问题 4：苹果 HALO 人形机器人控制系统的训练数据是怎么来的？
回答 4：苹果 HALO 人形机器人控制系统的数据全部在仿真里合成：1000 个程序化生成的虚拟家庭、约 300 小时带第一视角画面的动作片段，用 250 张 H100 跑约 48 小时生成主数据，不依赖遥操作或穿戴动捕；但新增任务仍需人工写提示词和设计关键帧。
问题 5：苹果 HALO 人形机器人控制系统为什么选宇树 G1 做验证？
回答 5：论文用的是市售宇树 G1，只加装了一个 3D 打印头壳（装 OAK-1W 相机）和尾部外壳（内置 Mac mini M4 Pro 64GB），这样能把硬件差异这个变量压到最低，专注验证 “大脑＋小脑” 的方法论，而不是证明某个自研本体更强。
问题 6：苹果 HALO 人形机器人控制系统和英伟达的 Halos 是一回事吗？
回答 6：不是。苹果 HALO 人形机器人控制系统是苹果的具身智能研究项目，论文编号 arXiv 2611.06908；英伟达 2026 年 6 月发布的 Halos 是面向物理 AI 的全栈机器人安全体系，名字只差一个字母，两者机构、目标、内容都不同。
【参考资料】
[2026-11-08]（苹果披露机器人 “大脑” 研究进展）南方 +（21 世纪经济报道）
[2026-11-07]（苹果披露机器人 HALO 系统，360 次单项任务测试平均成功率 91%）IT 之家
[2026-11-06]（苹果的机器人梦：先教会宇树 G1 “钻桌子”，再卖你一台 1000 美元的机器人）电子工程专辑
[2026-11-04]（Perceptive Humanoid Motion from Simulation）arXiv 论文页
[2026-11-04]（Perceptive Humanoid Motion from Simulation 全文 HTML）arXiv
【免责声明】
本文依据苹果研究团队 arXiv 论文《Perceptive Humanoid Motion from Simulation》（arXiv:2611.06908）原文，以及 IT 之家、南方 +（转澎湃新闻）、电子工程专辑的公开报道整理。成功率、模型型号、算力配置、硬件清单均以论文原文为准；媒体转述与论文不一致处以论文为准。91%、70%、50% 三个数字对应不同测试设置，不可互相替代。文中关于 HALO 与苹果 J595 家用机器人产品线的关系，依据电子工程专辑报道，J595 的售价与时间是媒体口径、非苹果官方确认。本文不代表苹果官方立场，不构成投资或采购建议；文中所有结论均为作者自测结果，尚无第三方独立复现。
核对说明：91%（360 次 / 6 个未建图房间）与 70%（3 类组合各 10 次）、50%（最难组合 10 次）三处已按论文分栏列出，未合并成单一 “成功率”。作者单位逐个核对为全部 Apple，未写 “与某高校合作”。硬件配置、相机型号与分辨率、各层运行频率、模型版本均取自论文正文，未采用二手概括。训练算力按论文给出的 H100/B200 数量与时长照录，未披露耗时的两项如实写 “未披露”。特别标注 HALO 与英伟达 Halos 为两个不同事物，避免同名混淆；股票类解读与标的梳理未纳入，与本研究无直接关联。