南洋理工大学 MMLab@NTU 联合商汤研究院、Ropedia 推出原生视觉语言动作模型 NEO-VLA,它和市面上绝大多数 VLA 机器人模型不一样,去掉了独立的预训练视觉编码器,原始像素图片经过轻量化卷积做 patch 嵌入之后,直接和语言指令一起进入主干网络同步计算,再搭配 Flow-Matching 动作模块,读取主干网络不同层级的特征,直接输出连续机器人动作;传统方案会先用独立编码器压缩图像,很容易丢掉局部几何、边缘、深度这些精细操作需要的底层信息,而 NEO-VLA 让视觉和语言特征在网络每一层同步演化,动作模块可以拿到多阶段视觉信息,在仿真环境和真实机械臂任务里,精细操控、场景变化后的鲁棒性都更强,模型基于 2.23 万条机器人轨迹数据训练,单张 RTX3090 显卡就能跑推理,适合通用机器人抓取、摆放这类具身任务。
一、NEO-VLA 基础信息一览
| 项目 | 详情 |
|---|---|
| 模型名称 | NEO-VLA |
| 研发团队 | MMLab@NTU(南洋理工 S-Lab)、商汤研究院、Ropedia |
| 模型定位 | 原生无编码器 VLA 具身模型(视觉 - 语言 - 动作) |
| 主干基础 | NEO-2B 原生视觉语言主干 |
| 核心结构 | 无独立预训练视觉编码器 |
| 动作输出模块 | Flow-Matching 动作专家 |
| 训练数据集 | 超 223 万条机器人轨迹 |
| 推理硬件 | RTX3090 可完成单卡推理 |
| 论文标题 | From Pixels to Actions – Towards Native Vision-Language-Action Policies |
| 公开渠道 | arXiv 预印本、项目页、GitHub 开源代码 |
二、NEO-VLA 和传统 VLA 模型架构差别
- 传统 VLA 架构:图像→独立视觉编码器压缩提取特征→送入大语言模型,只用编码器输出的最终特征做动作决策,中间层级的精细视觉信息大量丢失
- NEO-VLA 原生架构:原始像素→轻量卷积 patch 嵌入,图像 token 和语言指令 token 一起进入主干,每一层同步融合计算;动作模块可以自由读取主干任意一层的表征,而不是只拿最后一层结果
- 关键结论:实验发现,很多对机器人动作很关键的视觉信号,在网络中间层就达到峰值,不是最后一层,只拿最终特征会损失关键信息
三、NEO-VLA 核心亮点清单
- 原生端到端链路:真正做到像素输入、语言指令输入,直接输出连续机器人动作,没有单独的视觉编码环节
- 多层级特征取用:动作专家按需调取主干不同深度特征,适配精细抓取、对齐、放置等需要几何细节的任务
- 抗分布偏移能力强:场景、物体外观变化之后,机器人操控失败率更低,泛化表现优于同规模编码器方案
- 多模态能力保留:训练时没有丢掉语言理解能力,语言指令的理解稳定性更好,不容易出现指令理解跑偏
- 落地门槛友好:2B 规模主干,不需要超大规模算力,普通消费级 RTX3090 显卡就可以完成推理闭环
四、验证的机器人任务场景
- 仿真环境物体抓取、推移、堆叠
- 真实机械臂精准放置,比如把小件放到指定容器上
- 物体姿态对齐、夹爪开合控制
- 场景改动、物体外观变化后的自适应操控
五、研究带来的行业启发
✅ 正向价值
之前大家做 VLA,习惯直接拿现成 CLIP、SigLIP 这类视觉编码器,这套研究证明原生一体化架构,对机器人精细操控任务有明显优势,单纯堆模型规模弥补不了编码器带来的信息损失。
⚠️ 待解决问题
原生一体化架构的训练难度更高,需要大量高质量机器人轨迹数据;目前还是研究原型,距离工业级、家用服务机器人大规模商用还有距离。
【相关 FAQ】
问题 1:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 是什么模型?
回答 1:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 是无独立视觉编码器的原生视觉语言动作具身模型,由 MMLab@NTU 等团队推出,面向机器人操控,输入像素和语言指令直接输出连续动作。
问题 2:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 和传统 VLA 模型最大区别是什么?
回答 2:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,传统 VLA 依赖独立视觉编码器压缩图像,NEO-VLA 去掉独立编码器,像素和语言在主干网络同步融合,动作模块可以读取网络中间层特征。
问题 3:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 跑推理需要什么显卡?
回答 3:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 主干为 2B 参数规模,单张 RTX3090 显卡就可以完成推理,硬件门槛相对友好。
问题 4:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,NEO-VLA 适合什么机器人任务?
回答 4:MMLab@NTU 提出原生具身模型 NEO-VLA,从像素直出动作,适合机械臂抓取、物体摆放、堆叠、姿态对齐这类精细操控任务,在场景变化下的鲁棒性更好。
【参考资料】
[2026-11-15](From Pixels to Actions – Towards Native Vision-Language-Action Policies)arXiv
[2026-11-16](NEO‑VLA 推出原生视觉‑语言‑动作机器人策略)凤凰网科技
[2026-11-16](MMLab@NTU Proposes NEO-VLA: A Natively Embodied Model That Maps Pixels Directly to Actions)C114Pro
[2026-11-15](MMLab@NTU 提出原生具身模型 NEO-VLA:从像素直出动作)新浪财经
【免责声明】
以上内容来自 NEO-VLA 论文预印本、项目公开资讯整理,NEO-VLA 属于科研原型模型,性能、稳定性、落地能力以论文实验和开源版本为准;本文仅为技术科普,不构成机器人采购、项目落地、算力投资建议,商用落地前需要自行做场景验证。
本文来自作者[星盘解码]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/3185.html
评论列表(4条)
我是新新网的签约作者“星盘解码”!
希望本篇文章《MMLab@NTU 发布原生具身模型 NEO-VLA,实现像素直出机器人动作》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:南洋理工大学 MMLab@NTU 联合商汤研究院、Ropedia 推出原生视觉语言动作模型 NEO-VLA,它和市面上绝大多数 VLA 机器人模型不一样,去