米哈游崩坏 AI 研发团队在 arXiv 上线了名为 Gamer 的 VLA(视觉 - 语言 - 动作)基础模型论文,这套模型最大亮点就是不用读取游戏底层数据、不调用游戏内部 API,只看屏幕画面,直接输出键鼠操作,能自主完成长流程 3D 游戏任务,像真人玩家一样操作电脑玩游戏。以往很多游戏 AI 需要读取游戏内存、获取后台状态,属于 “开外挂式” 获取信息,而 Gamer 完全以屏幕像素作为输入,接收文字任务指令,输出鼠标移动、点击、按键等动作,更贴近通用智能体的思路。Gamer 基于 Qwen3-VL-8B 基座训练,论文配套设计了感知、记忆管理、多步稀疏推理一体化框架,专门解决长时间游戏任务容易遗忘目标、规划断裂的痛点。在《崩坏:星穹铁道》的 5 个主线篇章、合计约 50 小时长流程测试中,Gamer 自主运行占比超过 95%,能自主推进主线、完成支线和小游戏。整套训练分为三阶段,先用数万小时键鼠轨迹数据做持续预训练,再做稀疏思考指令微调,最后在线强化学习,同时搭配自研 Streaming-vLLM 推理引擎压低延迟,保障实时交互。目前该论文在 arXiv 公开,项目主页同步放出相关资料,但模型权重并未完整开放,技术方向可以用于游戏自动化 QA、无障碍交互,也为通用具身智能提供参考,注意它只是科研模型,不是面向玩家的代肝工具。
Gamer VLA 模型核心信息清单
- 模型名称:Gamer(通用视觉 - 语言 - 动作 VLA 基础模型)
- 发布团队:米哈游崩坏 AI 研发团队,联合清华、国科大、新加坡国立等高校
- 论文上线时间:2026 年 11 月 13 日,arXiv 编号 2611.18397
- 基座模型:Qwen3-VL-8B
- 交互方式:输入屏幕画面 + 文本指令,输出键鼠动作,不读取游戏内存、不调用游戏 API
- 核心架构:视觉感知模块、长时记忆管理、稀疏推理规划
- 训练三阶段
- CPT 持续预训练:数万小时键鼠操作轨迹数据学习基础键鼠控制
- SFT 稀疏思考指令微调:学习任务规划、分步推理,降低算力消耗
- TA-GRPO 在线强化学习:在游戏环境里持续优化长任务执行能力
- 实测表现:崩铁 50 小时长流程评估,自主运行占比>95%
- 推理引擎:Streaming-vLLM,优化 KV 缓存,降低实时交互延迟
- 潜在落地方向:游戏自动化测试 QA、游戏无障碍交互、通用屏幕智能体研究
Gamer VLA 技术理解步骤
- 看懂 VLA 含义:VLA 即视觉 - 语言 - 动作,模型看懂画面、读懂文字指令、输出可执行动作,属于具身智能的一类方向。
- 区分传统游戏 AI 和 Gamer:传统游戏 bot 读取后台数据;Gamer 只读取屏幕像素,和人类玩家获取信息方式一致。
- 理解长时记忆价值:游戏主线任务跨度很长,普通短上下文 AI 容易忘记任务目标,Gamer 内置记忆模块记录任务进度。
- 看懂训练逻辑:先学键鼠基础操作,再学习思考规划,最后在游戏环境里强化迭代,不是一次性训练完成。
- 明确定位:属于学术科研模型,并非正式上线产品,权重没有全部开放,不能直接拿来给玩家代肝。
【相关 FAQ】
问题 1:米哈游发布的 Gamer VLA 论文里,这个 VLA 模型玩游戏需要读取游戏后台数据吗?
回答 1:米哈游 Gamer VLA 论文明确说明,Gamer VLA 模型不需要读取游戏内存,也不用调用游戏内部 API,仅采集屏幕画面作为视觉输入,输出键鼠操作,和真人玩家获取信息方式一致。
问题 2:米哈游发布 Gamer VLA 论文,Gamer 这个 VLA 模型可以直接用来给玩家做游戏代肝吗?
回答 2:米哈游发布 Gamer VLA 论文,Gamer VLA 属于科研实验模型,模型权重没有完整开放,定位是技术研究,不是面向普通玩家的代肝工具,不可以直接拿来自动刷游戏任务。
问题 3:米哈游 Gamer VLA 论文中的三阶段训练流程,每一步分别起到什么作用?
回答 3:米哈游 Gamer VLA 论文里三阶段训练流程,第一阶段持续预训练,学习键鼠基础操作;第二阶段稀疏思考指令微调,学会任务分步推理;第三阶段在线强化学习,在游戏环境优化长流程任务的执行效果。
问题 4:米哈游发布 Gamer VLA 论文,Gamer VLA 除了玩游戏还有什么技术用途?
回答 4:米哈游发布 Gamer VLA 论文,Gamer VLA 这套屏幕感知 + 键鼠动作输出的框架,除游戏场景外,还可以用于游戏自动化 QA 测试、游戏无障碍辅助交互,也为电脑屏幕通用智能体、具身智能研究提供参考。
【参考资料】
[2026-11-21](米哈游发布 Gamer VLA 论文,8B 模型看屏幕键鼠操作玩崩铁)量子位
[2026-11-17](Gamer:米哈游长时程实时游戏 VLA 智能体论文解读)HyperAI
[2026-11-16](miHoYo Trains an 8B Model to Play Star Rail in Real Time)AILog
[2026-11-13](Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent)arXiv
【免责声明】
本文内容基于米哈游 Gamer VLA 公开论文与科研资讯,Gamer VLA 属于实验室科研模型,并非正式商用产品,模型能力、后续开放计划以米哈游官方与 arXiv 论文原文为准;本文仅做技术科普,不鼓励使用同类 AI 工具在正式游戏内自动操作,避免违反游戏用户协议,本文不构成技术落地与产品使用建议。
本文来自作者[赤核总线员]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/rgzn/202611/5005.html
评论列表(4条)
我是新新网的签约作者“赤核总线员”!
希望本篇文章《米哈游发了个VLA论文》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:米哈游崩坏 AI 研发团队在 arXiv 上线了名为 Gamer 的 VLA(视觉 - 语言 - 动作)基础模型论文,这套模型最大亮点就是不用读取