您的位置首页 >人工智能 >

触觉 Token 统一三类传感器LingBot-Touch 的 “通用手感” 到底通到哪一层

这条从标题就能看出是触觉大模型方向,我需要先确认是哪家发的、模型叫什么、token 具体指什么。

主稿和官方通稿、以及同赛道的 FTP-1 论文都拿到了。再核对一下开源仓库与技术报告细节,以及有没有第三方质疑。

量子位原文、官方通稿、央广网、中国经营报、技术报告配套信息,以及同赛道的 FTP-1 论文都核对完了。有一处必须先说明:官方口径是 “26 项任务平均提升 14–26 个百分点”,部分转载压缩成 “平均 20+ 个百分点”;另外 “通用” 通的是表征层,不是动作层。下面成稿。

2026 年 11 月 10 日,蚂蚁灵波科技开源了触觉预训练基础模型 LingBot-Touch,技术报告、模型和代码一起放上了 Hugging Face、GitHub 和魔搭社区。它做的事可以一句话概括:在触觉传感器和动作模型之间插一层 “翻译”,把磁触觉、视触觉、压阻式三类完全不同的读数,统一编码成同一种触觉 Token,再交给上层的动作模型。预训练用了 4983 小时真实触觉数据、约 46.4 万段交互、13.3 亿帧,轻量版 LingBot-Touch-Tiny 只有约 532 万参数,接进现有动作模型后参数量只涨 0.13% 到 0.16%。效果上,官方在 Sharpa Wave 和 XHand1 两款灵巧手上做了 26 项真机测试,接入后 LingBot-VLA、π0.5、Diffusion Policy、T-Rex 四种动作模型的平均任务成功率,比完全不用触觉提高约 14 到 26 个百分点。最能说明问题的是那组反直觉的对照:同样 π0.5、同样拉拉链任务,不用触觉成功率 39%,把传感器原始读数原封不动喂进去掉到 15%,换成 LingBot-Touch 的触觉 Token 后回到 59%。也就是说,机器人不是缺触觉,是缺一个能读懂触觉的东西。

一、先看那组反直觉的数:为什么装了触觉反而更笨

任务组合不用触觉直接喂原始读数接 LingBot-Touch
π0.5 + Sharpa Wave,拉拉链39%15%59%
π0.5 + Sharpa Wave,交接盒子57%48%63%
XHand1,6 项任务平均49.71%48%74.17%

第二列是全篇最该记住的一列。多一种感官,成功率反而掉,原因不在传感器,在信号本身:灵巧手大部分时间不接触物体,读数是一大片 “0”;真接触时信号又稀疏、带噪声;而且三类传感器的物理量根本不是一回事 —— 视触觉拍的是指尖软胶的形变,磁触觉测的是磁场变化,压阻式记的是电阻变化。同一个 “捏住瓶盖” 的动作,三种传感器给出三套毫不相干的数字,动作模型没经过对齐就直接用,相当于让人看三种外语写的情书。

所以 LingBot-Touch 的定位不是 “又给机器人加了一个感官”,而是 “给已有的感官配一个翻译”,输出的是动作模型能理解的四件事:碰在哪儿、用了多大劲、力往哪边偏、有没有打滑。

二、它具体怎么做的:四步

  1. 统一坐标。不同传感器的触点数量和排布差得离谱 —— 有的灵巧手光是拇指上就铺了 116 个触点,有的布料手套只有一个 3×3 的小阵列。团队把所有触点映射到同一个标准化指尖空间。
  2. 给每个 Token 发地址。这个地址由时间、手指编号、三维位置三部分构成,通过旋转位置编码(RoPE)进入模型。好处是模型不再要求固定触点数量,换一种布局照样能读。
  3. 按传感原理分入口,主干共享。三类传感器各有一个轻量编码入口,负责把原始读数转成 Token;入口之后共用同一个触觉 Transformer 主干。传感器之间的差异交给入口消化,接触本身的规律放到主干里一起学。
  4. 在特征空间里做预测。训练时随机遮住 90% 的触点,而且整段时间都遮着,让模型根据剩下 10% 的变化,去推断被遮住部分的表征。注意这里不还原原始读数。

第四步是关键设计。如果让模型还原原始读数,它会很快找到捷径 —— 把 “没碰到” 的背景学好,损失就降下来了,分数好看但没学到接触。走 JEPA 这条路之后,同样用 1000 小时数据训练,LingBot-Touch 判断接触中心的误差是 0.90 毫米,而 VAE 和 MAE 两种对照方法都在 3 毫米以上;用一段触觉去检索对应视频画面,前 5 召回率 32.07%,另两种方法都不到 6%。

三、三类传感器是怎么被统一的

传感原理测的物理量常见优势常见短板在模型里的处理
视触觉指尖软胶的形变图像空间分辨率高,能看出纹理和滑移方向体积大、成本高、软胶易磨损图像类入口,转成 Token
磁触觉磁场变化耐用、不易受光照干扰空间分辨率相对粗阵列类入口,转成 Token
压阻式电阻变化成本低、易大面积铺设易漂移、需要标定阵列 / 状态类入口,转成 Token

这张表的价值在于解释 “为什么要分入口”:三者的量纲、采样率、空间结构完全不同,硬塞进同一个编码器只会互相干扰。而入口按原理分、不按产品型号分,是这套方案能接住没见过的型号的前提。

四、数据是怎么攒出来的:三分之二不靠机器人

数据来源时长传感类型说明
人戴触觉手套采集2197 小时压阻式只标任务类别(开、关、装配、倒水),没有一帧标力的数值
人戴触觉手套采集1136 小时磁触觉同上
遥操 Sharpa Wave 双臂灵巧手1650 小时视触觉带机器人本体动作
合计4983 小时三类约 46.4 万段交互、13.3 亿帧

三分之二来自人戴手套干活,这个比例不是凑数凑出来的,是刻意选的:手套不依赖机器人本体,一个人一天能在普通环境里录好几个小时,数据规模才扩得上去。代价是这批数据没有力的大小标注,只有任务类别,所以模型学到的是 “接触长什么样”,不是 “力是多少牛”。

五、26 项任务、四款模型、两款手:结果怎么读

对照维度具体设置
灵巧手Sharpa Wave(高自由度)、XHand1(低自由度)
动作模型LingBot-VLA(自研)、π0.5、Diffusion Policy、T-Rex(外部三款)
任务总数26 项,两款手合计,含翻书页、拧瓶盖、叠杯、按软硬分拣、搬运易变形杯、辨识麻将牌、双手交接盒子
每组对照三档:不用触觉 / 直喂原始信号 / 用 LingBot-Touch 提 Token
总体结果四种动作模型、两款手上,平均成功率较无触觉提高约 14 至 26 个百分点,且均为各自最高
单点最强T-Rex + Sharpa Wave 拧瓶盖:56.25% → 62.5% → 90%
跨硬件验证XHand1 的磁触觉传感器型号不在预训练数据里,模型参数一个没改,只用语料微调动作模型,6 项任务平均从 48% 升到 74.17%
分离叠杯32.5% → 72.5%,翻了一倍多
LingBot-VLA + XHand 搬易变形杯58% → 90%

读这张表要注意两点。第一,“26 项” 是两款手的合计,不是每款手各 26 项;XHand1 单独报的是 6 项平均。第二,最漂亮的那个 90% 是单任务单组合,不是整体水平;整体要看 14 到 26 个百分点这个区间,而且这个区间是厂商自测、自家设定的对照协议,没有第三方复现。

六、开源了什么,边界在哪

  • 开源的:技术报告、模型权重、代码,三个渠道(Hugging Face、GitHub、魔搭),项目主页在 technology.robbyant.com/lingbot-touch。
  • 两个版本:LingBot-Touch-Tiny 约 532 万参数,26 项真机测试全部用它跑完;LingBot-Touch-Small 容量更大,在感知测试里显示数据加到近 5000 小时后仍能获益。
  • 不绑自研模型:四款动作模型都接了,意味着它卖的是中间那层感知能力,不是一套打包方案。
  • 生态侧:本体伙伴乐聚、钛虎;场景伙伴国大药房、隆盛,在零售分拣、物流分拣、工业场景做商业化测试;简智科技参与共建数据体系。
  • 已融合:与 LingBot-VLA、LingBot-Depth 完成融合,用于手眼协同。

七、五个必须打星号的地方

说法实际情况该怎么说
“通用手感”通用的是触觉表征层,动作层仍需用目标硬件的示范数据微调可以说 “触觉层跨硬件复用”,不能说 “下载即用、什么手都会干”
“平均提升 20+ 个百分点”官方口径是 14 至 26 个百分点引用区间,不引用单值
“触觉 Token 卷进大模型”训练目标是特征空间预测(JEPA),不是语言模型那种逐 token 生成叫 Token 是因为它是统一表征单元,不是词表里的 token
0.12 毫米 vs 2.19 毫米这是接触中心定位误差,属感知层指标,和任务成功率不是一回事不能拿它证明 “操作更准”
与 FTP-1 的对比两者定位不同:FTP-1 是策略层(generalist tactile policy),LingBot-Touch 是表征层;FTP-1 自报 5 种硬件配置 +17.2%、两种未见传感器 +31%,是它自己的实验协议不同实验、不同协议,不可直接比较谁更强

补一句量级参照:有券商研报引用的行业估算认为,要让具身模型真正可用,需要千万小时级的真实交互数据,而当前全行业高质量真实物理交互数据总量约 50 万小时。按这个口径,4983 小时大约是全行业的 1%—— 这也是为什么 “用人戴手套采数据” 这条路被反复强调:它是唯一能低成本放量的入口。

八、和 FTP-1 不是一回事,别混着比

维度LingBot-TouchFTP-1(arXiv 2606.13102)
定位触觉表征 / 感知层,输出 Token 给任意动作模型触觉策略层,直接输出动作
数据4983 小时,三类传感原理约 3000 小时,26 个数据源、21 种传感器
统一方式标准化指尖坐标 + 时间 / 手指 / 三维位置地址 + RoPE24 个功能区的形态感知 Token 空间(MTTS)
主干共享触觉 Transformer共享 300M 触觉专家,基于 π0.5
自报提升26 项任务平均 +14 至 26 个百分点见过的传感器配置 +17.2%,两种未见配置 +31%
关系可插在 π0.5、Diffusion Policy、T-Rex 上本身就是一套策略,需要微调落地

一句话:FTP-1 想解决 “一只手学会的活,另一只手能不能直接干”;LingBot-Touch 想解决 “这只手的感觉,别的模型能不能读懂”。两者可以叠加,但不能拿一方的数字替另一方背书。

九、对产业的实际影响,以及后面盯什么

短期看,受益顺序大概是这样的:动作模型团队不用再为每种传感器重训触觉层;传感器和灵巧手厂商可以把精力放回标定、降噪、耐用性;整机厂获得选型自由,指尖用视触觉辨细小接触、手掌铺压阻阵列感大面积受力这类混合方案从概念变得可行。长期看,它真正改变的是数据资产的归属 —— 一只手上攒的接触经验,不再随硬件迭代清零。

后面盯三个信号:

  1. 第三方复现。14 到 26 个百分点是厂商自测,等高校或独立团队在公开任务集上跑出同量级结果,这个数字才算落地。
  2. 跨原理的真实迁移。现在的验证是 “同原理、不同型号”(磁触觉换型号);真正的考验是视触觉经验能不能喂给压阻式手,这一步做通了才叫通用。
  3. 商业化场景的复购。国大药房、隆盛这些分拣场景跑完一轮之后,是继续加单还是回退,比发布会的数字更有说服力。

十、收尾

这次开源值得记的不是 “机器人有手感了” 这句话,而是那组 39%→15%→59% 的对照。它说明触觉这条路上,传感器只是入场券,能不能把接触翻译成动作模型听得懂的语言,才是分水岭。LingBot-Touch 把翻译这一层做成了可复用、可开源、可插拔的模块,这是实打实的进展;但 “通用” 目前只通到表征层,动作层仍要一只手一只手地教。真正的通用手感,得等视触觉的经验能直接喂给压阻式手的那天。

相关 FAQ

问题 1:LingBot-Touch 的触觉 Token 和语言模型里的 Token 是一回事吗?

回答 1:不是。LingBot-Touch 的触觉 Token 是一种统一表征单元,把磁触觉、视触觉、压阻式的读数都编码成同一种格式,每个 Token 带时间、手指编号、三维位置三部分地址,再通过 RoPE 进入模型;它的训练目标是特征空间预测(JEPA),靠遮住 90% 触点去推断被遮部分的表征,不是语言模型那种逐 token 自回归生成。叫它 Token,是因为它解决的是 “统一接口” 问题。

问题 2:为什么机器人装上触觉传感器后,成功率反而下降了?

回答 2:因为原始触觉读数不能直接用。灵巧手大部分时间不接触物体,读数是一大片 0;接触时信号稀疏带噪;三类传感器的物理量还各不相同。实验里 π0.5 拉拉链从 39% 掉到 15%、交接盒子从 57% 掉到 48%,都是直喂原始信号的结果。LingBot-Touch 的作用就是把读数翻译成接触位置、受力大小、力方向、是否打滑这四类信息,同一任务回到 59% 和 63%。

问题 3:LingBot-Touch 说的 “通用手感”,到底通用到什么程度?

回答 3:通用在触觉表征层,不在动作层。跨硬件验证是真的:XHand1 用的磁触觉传感器型号没出现在预训练数据里,LingBot-Touch 参数一个没改,6 项任务平均成功率就从 48% 升到 74.17%。但动作模型仍需用这只手的少量示范数据做微调。所以准确说法是 “触觉层不用重训”,不是 “下载即用、什么手都会干”。

问题 4:LingBot-Touch 和自己训一套触觉模型,成本差在哪?

回答 4:差在不用为每种传感器重建数据管线和触觉模型。自己训一套,得按型号做标定、标注、对齐,硬件一迭代就推倒重来;LingBot-Touch 按传感原理设入口、按统一指尖坐标对齐触点,同一原理下的新型号可以直接接。轻量版只有约 532 万参数,接进 LingBot-VLA、π0.5、T-Rex 后参数量只涨 0.13% 到 0.16%,端侧算力压力很小 —— 这一点对真机闭环很关键,因为打滑发生后留给计算的时间窗口很短。

参考资料

  • [2026-11-10](触觉也能 Token 化?蚂蚁灵波实现机器人 “手感” 跨硬件复用)中国经营报
  • [2026-11-10](从 “一脑多机” 到 “一脑多手”,蚂蚁灵波开源 LingBot-Touch 触觉基础模型)央广网
  • [2026-11-10](Token 卷到触觉了!机器人终于有了通用手感)量子位
  • [2026-11-10](蚂蚁灵波开源触觉基础模型,让机器人的 “手感” 可以复用)光子星球
  • [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)TechWeb
  • [2026-11-10](蚂蚁灵波发布 LingBot-Touch 触觉基础模型)36 氪
  • [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)IT 之家
  • [2026-11-10](通用大脑能力再提升,蚂蚁灵波发布 LingBot-Touch 触觉基础模型)中国青年网
  • [2026-10-14](Tactile-Guided Robot Learning: From Representation Learning to Foundation Models)arXiv
  • [2026-08-08](人形机器人行业深度报告:具身智能理想载体,奇点渐至未来可期)东方财富研报中心
  • [2026-06-11](FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation)arXiv

免责声明

本文为厂商通稿、媒体报道、公开技术信息与同赛道论文的整理比对,不构成投资建议。文中 4983 小时预训练数据(2197 小时压阻式 + 1136 小时磁触觉 + 1650 小时视触觉)、约 46.4 万段交互、13.3 亿帧、LingBot-Touch-Tiny 约 532 万参数(官方通稿写作 “约 530 万”)、26 项真机测试、平均成功率提高 14 至 26 个百分点、参数量增加 0.13% 至 0.16%、T-Rex 拧瓶盖 56.25%→62.5%→90%、π0.5 拉拉链 39%→15%→59%、交接盒子 57%→48%→63%、XHand1 六项平均 49.71%→48%→74.17%、分离叠杯 32.5%→72.5%、LingBot-VLA 搬易变形杯 58%→90%、接触中心定位误差 0.90 毫米以及前 5 召回率 32.07% 等数据,均来自蚂蚁灵波官方通稿与量子位报道,属厂商自测口径,未见第三方独立复现;其中接触中心误差 0.12 毫米与 FTP-1 的 2.19 毫米为感知层定位指标,与任务成功率不可互换解读。部分转载将 “14 至 26 个百分点” 概括为 “平均 20+ 个百分点”,本文按官方区间引用。FTP-1 的 +17.2%、+31% 等数字出自其自身论文实验协议(arXiv 2606.13102),与本文主体不是同一实验,不可直接比较。行业内 “需千万小时级真实交互数据、当前总量约 50 万小时” 的量级参照来自券商研报转引的行业估算,非权威统计。所引三类传感原理的优劣归纳为行业通行分类,具体型号表现以厂商规格书为准。“通用手感” 指触觉表征层可跨传感器、跨灵巧手、跨动作模型复用,不表示动作策略层无需针对目标硬件微调。产品与开源内容的后续更新、许可证条款及商用限制,请以官方仓库与项目主页为准。