机器人单纯靠几何形状采样抓取位姿，经常抓在错误位置；把三维可供性引入操作数据生成，就是让机器人读懂 “这个物体哪一块区域适合完成当前任务”，而不是随便找一个能捏住的位置，这项工作对应的 AffordSim 是首个将开放词汇三维可供性预测完整嵌入机器人操作数据生成链路的仿真框架，配套 VoxAfford 三维可供性检测器；传统抓取数据大多只保证 “抓得住”，不区分任务，如果要倒水，它可能抓住杯口；如果要悬挂杯子，又可能抓杯身，而三维可供性会根据语言指令，在物体点云上标出功能交互区域，引导生成符合任务语义的抓取姿态与运动轨迹，自动大规模产出带可供性标注的模仿学习数据，降低人工遥操作标注成本，提升机器人在倒水、挂杯子这类精细任务上的泛化能力。这套方案依托 Isaac Sim，支持多款不同机械臂，还可以利用实拍照片做三维高斯重建、域随机化，缩小仿真到现实之间的差距，对具身智能、人形机器人手操任务训练非常关键。
核心概念：三维可供性
可供性（Affordance）描述物体可以被用来做什么；三维可供性不再停留在二维图像热力图，而是在点云、三维网格上标记区域。
- 抓取可供性：适合握持、夹持的位置，例如杯柄、工具把手。
- 功能可供性：完成动作的工作面，例如刀刃、锤头、杯口。
- 任务绑定：同一个物体，不同指令对应的可供区域完全不同；拿杯子喝水抓把手，往里面倒水则要避开把手、对准杯口。
- 开放词汇：可以接收自由文本指令，不用预先限定动作标签。
AffordSim 完整数据生成流水线
- 任务与场景解析：VLM 读取自然语言任务描述，拆解操作步骤，从资产库组装三维场景，生成可供性查询指令。
- 三维可供性预测：VoxAfford 接收物体点云，输出稠密三维可供性图，标出和当前任务匹配的交互区域。
- 抓取候选采样：在可供区域提取接触点，结合表面法向，生成多组六自由度抓取姿态候选。
- 无碰撞运动规划：调用运动规划器校验候选姿态，筛选可达、不碰撞的轨迹，按路径代价打分。
- 仿真执行与录制：在仿真中运行整条轨迹，保存点云、可供性标签、抓取位姿、关节轨迹、任务结果，自动过滤失败样本。
- 域随机化：通过三维高斯重建从实拍照片引入真实纹理与几何扰动，提升 sim‑to‑real 迁移效果。
基准任务与测试结果
研究团队搭建包含 50 项任务的基准，分为七大类别，并且对四种主流模仿学习算法做评估。
| 任务类别 | 难度特点 | 大致成功率区间 |
|---|---|---|
| 基础抓取、放置 | 成熟，几何约束为主 | 53%–93% |
| 堆叠、推拉 | 需要空间对齐 | 中等 |
| 倒水（窄口容器） | 强依赖功能区域 | 1%–43% |
| 挂杯子 | 精细耦合任务 | 0%–47% |
| 长时序复合操作 | 多步骤、状态依赖 | 整体偏低 |
实验表明，简单抓取已经相对成熟；但高度依赖可供性理解的任务，仍然是现有模仿策略的短板，也证明带可供性标注的数据有明确增益；零样本仿真迁移在真实 Franka FR3 机械臂上验证了可行性。
和传统操作数据生成的对比
- 传统方案：优先几何可行，采样大量抓取点，只记录能不能捏住；任务语义弱，容易出现 “抓对但用不了”。
- 引入三维可供性：以任务语义为先，先划定功能区域，再做姿态采样；产出的数据天然对齐人类使用物体的逻辑，适合长时序、工具使用、精细交互。
- 成本差异：人工示教慢、标注昂贵；这套仿真链路可以全自动批量生成，缺点是依然存在仿真和真实世界的间隙。
当前局限
- 感知误差传导：点云残缺、遮挡会让三维可供性预测偏移，进而导致抓取候选全部失效。
- 复杂铰接物体：多关节工具、可变形物体的可供性建模难度很高。
- 物理保真度：仿真摩擦、柔性接触和现实有差距，即使可供区域正确，落地执行依然可能失败。
- 长时序推理：框架擅长单步操作；多步骤任务之间可供性切换、状态推理还需要上层任务规划配合。
【相关 FAQ】
问题 1：把三维可供性引入操作数据生成，核心解决机器人的什么痛点？
回答 1：把三维可供性引入操作数据生成，核心解决机器人只会按几何抓握、分不清 “抓哪里才适合当前任务” 的痛点，让生成的抓取轨迹匹配功能区域，而不是仅仅满足捏住物体。
问题 2：把三维可供性引入操作数据生成，AffordSim 使用哪个模型预测可供区域？
回答 2：把三维可供性引入操作数据生成，AffordSim 使用 VoxAfford，一款开放词汇三维可供性检测器，在点云上预测任务对应的可供热力区域。
问题 3：把三维可供性引入操作数据生成，是不是只要有可供性标注，机器人就可以直接在现实里稳定操作？
回答 3：不是，把三维可供性引入操作数据生成可以产出更高质量仿真演示，但还需要域随机化、仿真到现实迁移；遮挡、噪声、物理差异依然会降低真机成功率。
问题 4：把三维可供性引入操作数据生成，三维可供性和普通二维可供性有什么差别？
回答 4：把三维可供性引入操作数据生成时，三维可供性直接在点云、三维几何体上定位交互区域，自带空间方向、接触法向，更适合六自由度抓取与机械臂轨迹规划；二维可供性是图像层面的平面热力图。
【参考资料】
[2026-11-10]（让机器人理解「抓哪里」：把「三维可供性」引入操作数据生成）新智元
[2026-04-17]（AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation）arXiv
[2026-11-10]（AffordSim：面向可供性感知机器人操作的可扩展数据生成器）腾讯新闻
[2025-09-02]（UniAff：面向工具与铰接物体的可供性统一表示）arXiv
[2026-01-14]（Affostruction：基于生成重建的三维可供性定位）arXiv
【免责声明】
本文围绕将三维可供性引入操作数据生成的 AffordSim 项目展开解读；成功率、任务集、框架细节来自论文与媒体报道；仿真生成数据的真机迁移效果受硬件、传感器、场景变化影响；本文仅为技术资讯，不构成机器人采购、算法落地的承诺。