这条从标题就能看出是触觉大模型方向,我需要先确认是哪家发的、模型叫什么、token 具体指什么。
主稿和官方通稿、以及同赛道的 FTP-1 论文都拿到了。再核对一下开源仓库与技术报告细节,以及有没有第三方质疑。
量子位原文、官方通稿、央广网、中国经营报、技术报告配套信息,以及同赛道的 FTP-1 论文都核对完了。有一处必须先说明:官方口径是 “26 项任务平均提升 14–26 个百分点”,部分转载压缩成 “平均 20+ 个百分点”;另外 “通用” 通的是表征层,不是动作层。下面成稿。
2026 年 11 月 10 日,蚂蚁灵波科技开源了触觉预训练基础模型 LingBot-Touch,技术报告、模型和代码一起放上了 Hugging Face、GitHub 和魔搭社区。它做的事可以一句话概括:在触觉传感器和动作模型之间插一层 “翻译”,把磁触觉、视触觉、压阻式三类完全不同的读数,统一编码成同一种触觉 Token,再交给上层的动作模型。预训练用了 4983 小时真实触觉数据、约 46.4 万段交互、13.3 亿帧,轻量版 LingBot-Touch-Tiny 只有约 532 万参数,接进现有动作模型后参数量只涨 0.13% 到 0.16%。效果上,官方在 Sharpa Wave 和 XHand1 两款灵巧手上做了 26 项真机测试,接入后 LingBot-VLA、π0.5、Diffusion Policy、T-Rex 四种动作模型的平均任务成功率,比完全不用触觉提高约 14 到 26 个百分点。最能说明问题的是那组反直觉的对照:同样 π0.5、同样拉拉链任务,不用触觉成功率 39%,把传感器原始读数原封不动喂进去掉到 15%,换成 LingBot-Touch 的触觉 Token 后回到 59%。也就是说,机器人不是缺触觉,是缺一个能读懂触觉的东西。
一、先看那组反直觉的数:为什么装了触觉反而更笨
| 任务组合 | 不用触觉 | 直接喂原始读数 | 接 LingBot-Touch |
|---|---|---|---|
| π0.5 + Sharpa Wave,拉拉链 | 39% | 15% | 59% |
| π0.5 + Sharpa Wave,交接盒子 | 57% | 48% | 63% |
| XHand1,6 项任务平均 | 49.71% | 48% | 74.17% |
第二列是全篇最该记住的一列。多一种感官,成功率反而掉,原因不在传感器,在信号本身:灵巧手大部分时间不接触物体,读数是一大片 “0”;真接触时信号又稀疏、带噪声;而且三类传感器的物理量根本不是一回事 —— 视触觉拍的是指尖软胶的形变,磁触觉测的是磁场变化,压阻式记的是电阻变化。同一个 “捏住瓶盖” 的动作,三种传感器给出三套毫不相干的数字,动作模型没经过对齐就直接用,相当于让人看三种外语写的情书。
所以 LingBot-Touch 的定位不是 “又给机器人加了一个感官”,而是 “给已有的感官配一个翻译”,输出的是动作模型能理解的四件事:碰在哪儿、用了多大劲、力往哪边偏、有没有打滑。
二、它具体怎么做的:四步
- 统一坐标。不同传感器的触点数量和排布差得离谱 —— 有的灵巧手光是拇指上就铺了 116 个触点,有的布料手套只有一个 3×3 的小阵列。团队把所有触点映射到同一个标准化指尖空间。
- 给每个 Token 发地址。这个地址由时间、手指编号、三维位置三部分构成,通过旋转位置编码(RoPE)进入模型。好处是模型不再要求固定触点数量,换一种布局照样能读。
- 按传感原理分入口,主干共享。三类传感器各有一个轻量编码入口,负责把原始读数转成 Token;入口之后共用同一个触觉 Transformer 主干。传感器之间的差异交给入口消化,接触本身的规律放到主干里一起学。
- 在特征空间里做预测。训练时随机遮住 90% 的触点,而且整段时间都遮着,让模型根据剩下 10% 的变化,去推断被遮住部分的表征。注意这里不还原原始读数。
第四步是关键设计。如果让模型还原原始读数,它会很快找到捷径 —— 把 “没碰到” 的背景学好,损失就降下来了,分数好看但没学到接触。走 JEPA 这条路之后,同样用 1000 小时数据训练,LingBot-Touch 判断接触中心的误差是 0.90 毫米,而 VAE 和 MAE 两种对照方法都在 3 毫米以上;用一段触觉去检索对应视频画面,前 5 召回率 32.07%,另两种方法都不到 6%。
三、三类传感器是怎么被统一的
| 传感原理 | 测的物理量 | 常见优势 | 常见短板 | 在模型里的处理 |
|---|---|---|---|---|
| 视触觉 | 指尖软胶的形变图像 | 空间分辨率高,能看出纹理和滑移方向 | 体积大、成本高、软胶易磨损 | 图像类入口,转成 Token |
| 磁触觉 | 磁场变化 | 耐用、不易受光照干扰 | 空间分辨率相对粗 | 阵列类入口,转成 Token |
| 压阻式 | 电阻变化 | 成本低、易大面积铺设 | 易漂移、需要标定 | 阵列 / 状态类入口,转成 Token |
这张表的价值在于解释 “为什么要分入口”:三者的量纲、采样率、空间结构完全不同,硬塞进同一个编码器只会互相干扰。而入口按原理分、不按产品型号分,是这套方案能接住没见过的型号的前提。
四、数据是怎么攒出来的:三分之二不靠机器人
| 数据来源 | 时长 | 传感类型 | 说明 |
|---|---|---|---|
| 人戴触觉手套采集 | 2197 小时 | 压阻式 | 只标任务类别(开、关、装配、倒水),没有一帧标力的数值 |
| 人戴触觉手套采集 | 1136 小时 | 磁触觉 | 同上 |
| 遥操 Sharpa Wave 双臂灵巧手 | 1650 小时 | 视触觉 | 带机器人本体动作 |
| 合计 | 4983 小时 | 三类 | 约 46.4 万段交互、13.3 亿帧 |
三分之二来自人戴手套干活,这个比例不是凑数凑出来的,是刻意选的:手套不依赖机器人本体,一个人一天能在普通环境里录好几个小时,数据规模才扩得上去。代价是这批数据没有力的大小标注,只有任务类别,所以模型学到的是 “接触长什么样”,不是 “力是多少牛”。
五、26 项任务、四款模型、两款手:结果怎么读
| 对照维度 | 具体设置 |
|---|---|
| 灵巧手 | Sharpa Wave(高自由度)、XHand1(低自由度) |
| 动作模型 | LingBot-VLA(自研)、π0.5、Diffusion Policy、T-Rex(外部三款) |
| 任务总数 | 26 项,两款手合计,含翻书页、拧瓶盖、叠杯、按软硬分拣、搬运易变形杯、辨识麻将牌、双手交接盒子 |
| 每组对照 | 三档:不用触觉 / 直喂原始信号 / 用 LingBot-Touch 提 Token |
| 总体结果 | 四种动作模型、两款手上,平均成功率较无触觉提高约 14 至 26 个百分点,且均为各自最高 |
| 单点最强 | T-Rex + Sharpa Wave 拧瓶盖:56.25% → 62.5% → 90% |
| 跨硬件验证 | XHand1 的磁触觉传感器型号不在预训练数据里,模型参数一个没改,只用语料微调动作模型,6 项任务平均从 48% 升到 74.17% |
| 分离叠杯 | 32.5% → 72.5%,翻了一倍多 |
| LingBot-VLA + XHand 搬易变形杯 | 58% → 90% |
读这张表要注意两点。第一,“26 项” 是两款手的合计,不是每款手各 26 项;XHand1 单独报的是 6 项平均。第二,最漂亮的那个 90% 是单任务单组合,不是整体水平;整体要看 14 到 26 个百分点这个区间,而且这个区间是厂商自测、自家设定的对照协议,没有第三方复现。
六、开源了什么,边界在哪
- 开源的:技术报告、模型权重、代码,三个渠道(Hugging Face、GitHub、魔搭),项目主页在 technology.robbyant.com/lingbot-touch。
- 两个版本:LingBot-Touch-Tiny 约 532 万参数,26 项真机测试全部用它跑完;LingBot-Touch-Small 容量更大,在感知测试里显示数据加到近 5000 小时后仍能获益。
- 不绑自研模型:四款动作模型都接了,意味着它卖的是中间那层感知能力,不是一套打包方案。
- 生态侧:本体伙伴乐聚、钛虎;场景伙伴国大药房、隆盛,在零售分拣、物流分拣、工业场景做商业化测试;简智科技参与共建数据体系。
- 已融合:与 LingBot-VLA、LingBot-Depth 完成融合,用于手眼协同。
七、五个必须打星号的地方
| 说法 | 实际情况 | 该怎么说 |
|---|---|---|
| “通用手感” | 通用的是触觉表征层,动作层仍需用目标硬件的示范数据微调 | 可以说 “触觉层跨硬件复用”,不能说 “下载即用、什么手都会干” |
| “平均提升 20+ 个百分点” | 官方口径是 14 至 26 个百分点 | 引用区间,不引用单值 |
| “触觉 Token 卷进大模型” | 训练目标是特征空间预测(JEPA),不是语言模型那种逐 token 生成 | 叫 Token 是因为它是统一表征单元,不是词表里的 token |
| 0.12 毫米 vs 2.19 毫米 | 这是接触中心定位误差,属感知层指标,和任务成功率不是一回事 | 不能拿它证明 “操作更准” |
| 与 FTP-1 的对比 | 两者定位不同:FTP-1 是策略层(generalist tactile policy),LingBot-Touch 是表征层;FTP-1 自报 5 种硬件配置 +17.2%、两种未见传感器 +31%,是它自己的实验协议 | 不同实验、不同协议,不可直接比较谁更强 |
补一句量级参照:有券商研报引用的行业估算认为,要让具身模型真正可用,需要千万小时级的真实交互数据,而当前全行业高质量真实物理交互数据总量约 50 万小时。按这个口径,4983 小时大约是全行业的 1%—— 这也是为什么 “用人戴手套采数据” 这条路被反复强调:它是唯一能低成本放量的入口。
八、和 FTP-1 不是一回事,别混着比
| 维度 | LingBot-Touch | FTP-1(arXiv 2606.13102) |
|---|---|---|
| 定位 | 触觉表征 / 感知层,输出 Token 给任意动作模型 | 触觉策略层,直接输出动作 |
| 数据 | 4983 小时,三类传感原理 | 约 3000 小时,26 个数据源、21 种传感器 |
| 统一方式 | 标准化指尖坐标 + 时间 / 手指 / 三维位置地址 + RoPE | 24 个功能区的形态感知 Token 空间(MTTS) |
| 主干 | 共享触觉 Transformer | 共享 300M 触觉专家,基于 π0.5 |
| 自报提升 | 26 项任务平均 +14 至 26 个百分点 | 见过的传感器配置 +17.2%,两种未见配置 +31% |
| 关系 | 可插在 π0.5、Diffusion Policy、T-Rex 上 | 本身就是一套策略,需要微调落地 |
一句话:FTP-1 想解决 “一只手学会的活,另一只手能不能直接干”;LingBot-Touch 想解决 “这只手的感觉,别的模型能不能读懂”。两者可以叠加,但不能拿一方的数字替另一方背书。
九、对产业的实际影响,以及后面盯什么
短期看,受益顺序大概是这样的:动作模型团队不用再为每种传感器重训触觉层;传感器和灵巧手厂商可以把精力放回标定、降噪、耐用性;整机厂获得选型自由,指尖用视触觉辨细小接触、手掌铺压阻阵列感大面积受力这类混合方案从概念变得可行。长期看,它真正改变的是数据资产的归属 —— 一只手上攒的接触经验,不再随硬件迭代清零。
后面盯三个信号:
- 第三方复现。14 到 26 个百分点是厂商自测,等高校或独立团队在公开任务集上跑出同量级结果,这个数字才算落地。
- 跨原理的真实迁移。现在的验证是 “同原理、不同型号”(磁触觉换型号);真正的考验是视触觉经验能不能喂给压阻式手,这一步做通了才叫通用。
- 商业化场景的复购。国大药房、隆盛这些分拣场景跑完一轮之后,是继续加单还是回退,比发布会的数字更有说服力。
十、收尾
这次开源值得记的不是 “机器人有手感了” 这句话,而是那组 39%→15%→59% 的对照。它说明触觉这条路上,传感器只是入场券,能不能把接触翻译成动作模型听得懂的语言,才是分水岭。LingBot-Touch 把翻译这一层做成了可复用、可开源、可插拔的模块,这是实打实的进展;但 “通用” 目前只通到表征层,动作层仍要一只手一只手地教。真正的通用手感,得等视触觉的经验能直接喂给压阻式手的那天。
相关 FAQ
问题 1:LingBot-Touch 的触觉 Token 和语言模型里的 Token 是一回事吗?
回答 1:不是。LingBot-Touch 的触觉 Token 是一种统一表征单元,把磁触觉、视触觉、压阻式的读数都编码成同一种格式,每个 Token 带时间、手指编号、三维位置三部分地址,再通过 RoPE 进入模型;它的训练目标是特征空间预测(JEPA),靠遮住 90% 触点去推断被遮部分的表征,不是语言模型那种逐 token 自回归生成。叫它 Token,是因为它解决的是 “统一接口” 问题。
问题 2:为什么机器人装上触觉传感器后,成功率反而下降了?
回答 2:因为原始触觉读数不能直接用。灵巧手大部分时间不接触物体,读数是一大片 0;接触时信号稀疏带噪;三类传感器的物理量还各不相同。实验里 π0.5 拉拉链从 39% 掉到 15%、交接盒子从 57% 掉到 48%,都是直喂原始信号的结果。LingBot-Touch 的作用就是把读数翻译成接触位置、受力大小、力方向、是否打滑这四类信息,同一任务回到 59% 和 63%。
问题 3:LingBot-Touch 说的 “通用手感”,到底通用到什么程度?
回答 3:通用在触觉表征层,不在动作层。跨硬件验证是真的:XHand1 用的磁触觉传感器型号没出现在预训练数据里,LingBot-Touch 参数一个没改,6 项任务平均成功率就从 48% 升到 74.17%。但动作模型仍需用这只手的少量示范数据做微调。所以准确说法是 “触觉层不用重训”,不是 “下载即用、什么手都会干”。
问题 4:LingBot-Touch 和自己训一套触觉模型,成本差在哪?
回答 4:差在不用为每种传感器重建数据管线和触觉模型。自己训一套,得按型号做标定、标注、对齐,硬件一迭代就推倒重来;LingBot-Touch 按传感原理设入口、按统一指尖坐标对齐触点,同一原理下的新型号可以直接接。轻量版只有约 532 万参数,接进 LingBot-VLA、π0.5、T-Rex 后参数量只涨 0.13% 到 0.16%,端侧算力压力很小 —— 这一点对真机闭环很关键,因为打滑发生后留给计算的时间窗口很短。
参考资料
- [2026-11-10](触觉也能 Token 化?蚂蚁灵波实现机器人 “手感” 跨硬件复用)中国经营报
- [2026-11-10](从 “一脑多机” 到 “一脑多手”,蚂蚁灵波开源 LingBot-Touch 触觉基础模型)央广网
- [2026-11-10](Token 卷到触觉了!机器人终于有了通用手感)量子位
- [2026-11-10](蚂蚁灵波开源触觉基础模型,让机器人的 “手感” 可以复用)光子星球
- [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)TechWeb
- [2026-11-10](蚂蚁灵波发布 LingBot-Touch 触觉基础模型)36 氪
- [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)IT 之家
- [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)中国青年网
- [2026-10-14](Tactile-Guided Robot Learning: From Representation Learning to Foundation Models)arXiv
- [2026-08-08](人形机器人行业深度报告:具身智能理想载体,奇点渐至未来可期)东方财富研报中心
- [2026-06-11](FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation)arXiv
免责声明
本文为厂商通稿、媒体报道、公开技术信息与同赛道论文的整理比对,不构成投资建议。文中 4983 小时预训练数据(2197 小时压阻式 + 1136 小时磁触觉 + 1650 小时视触觉)、约 46.4 万段交互、13.3 亿帧、LingBot-Touch-Tiny 约 532 万参数(官方通稿写作 “约 530 万”)、26 项真机测试、平均成功率提高 14 至 26 个百分点、参数量增加 0.13% 至 0.16%、T-Rex 拧瓶盖 56.25%→62.5%→90%、π0.5 拉拉链 39%→15%→59%、交接盒子 57%→48%→63%、XHand1 六项平均 49.71%→48%→74.17%、分离叠杯 32.5%→72.5%、LingBot-VLA 搬易变形杯 58%→90%、接触中心定位误差 0.90 毫米以及前 5 召回率 32.07% 等数据,均来自蚂蚁灵波官方通稿与量子位报道,属厂商自测口径,未见第三方独立复现;其中接触中心误差 0.12 毫米与 FTP-1 的 2.19 毫米为感知层定位指标,与任务成功率不可互换解读。部分转载将 “14 至 26 个百分点” 概括为 “平均 20+ 个百分点”,本文按官方区间引用。FTP-1 的 +17.2%、+31% 等数字出自其自身论文实验协议(arXiv 2606.13102),与本文主体不是同一实验,不可直接比较。行业内 “需千万小时级真实交互数据、当前总量约 50 万小时” 的量级参照来自券商研报转引的行业估算,非权威统计。所引三类传感原理的优劣归纳为行业通行分类,具体型号表现以厂商规格书为准。“通用手感” 指触觉表征层可跨传感器、跨灵巧手、跨动作模型复用,不表示动作策略层无需针对目标硬件微调。产品与开源内容的后续更新、许可证条款及商用限制,请以官方仓库与项目主页为准。
