米哈游发了个VLA论文

米哈游崩坏 AI 研发团队在 arXiv 公开 Gamer VLA 论文,这套视觉 - 语言 - 动作基础模型最大亮点是不用读取游戏内存、不调用游戏内部 API,只采集屏幕画面作为输入,直接输出鼠标移动、点击、按键这类键鼠指令,像真人玩家一样操作电脑游戏,擅长处理几十小时跨度的长任务。传统游戏 AI 大多直接读取游戏后台数据获取角色坐标、任务状态,相当于开了 “上帝视角”;而 Gamer 只依靠屏幕像素信息,搭配文字任务指令,靠内置记忆模块记录任务进度,解决长任务容易遗忘目标、规划断裂的痛点。模型基于 Qwen3-VL-8B 基座改造,整套训练分成三个阶段,还配套自研 Streaming-vLLM 推理引擎压低实时交互延迟。在《崩坏:星穹铁道》五个主线篇章、约 50 小时长流程测试中,Gamer 自主运行占比超过 95%,能自主推进主线、探索地图、完成小游戏和解谜。该项目属于科研原型,论文和项目主页资料对外公开,但完整模型权重没有放出,技术方向可以用于游戏自动化 QA 测试、无障碍交互,不能直接当成玩家代肝工具使用。

Gamer VLA 核心信息清单

  • 模型名称:Gamer(通用 VLA 视觉语言动作基础模型)
  • 发布团队:米哈游崩坏 AI 研发团队,联合清华、国科大、新加坡国立等高校
  • 论文编号:arXiv 2611.18397,上线时间 2026-11-13
  • 基座模型:Qwen3-VL-8B
  • 输入输出:输入屏幕画面 + 文本任务指令;输出原生键鼠动作,不读取游戏内存、不调用游戏 API
  • 采样逻辑:画面采集 5Hz,动作输出 30Hz
  • 三大训练阶段
  • CPT 持续预训练:数万小时键鼠轨迹数据,学习基础键鼠操作和虚拟环境动态
  • 稀疏思考指令微调:减少冗余算力,学习分步任务规划推理
  • TA-GRPO 在线强化学习:优化长时序任务执行,缓解奖励稀疏、上下文窗口限制问题
  • 推理引擎:Streaming-vLLM,H200 环境下可把端到端延迟降至 65.12ms
  • 实测效果:崩铁 5 篇章长流程,自主运行占比>95%;同时支持 2D、3D 游戏环境
  • 定位:科研原型,权重未完全开源,非面向玩家的正式产品

Gamer VLA 技术理解步骤

  1. 理解 VLA 含义:VLA 即视觉 - 语言 - 动作模型,看懂画面、接收文字指令、输出可执行动作,属于屏幕端具身智能。
  2. 区分和传统游戏 Bot 差异:传统 Bot 读取后台数据;Gamer 仅读取屏幕像素,信息获取方式等同于人类玩家。
  3. 看懂长时记忆价值:游戏主线任务周期很长,普通 AI 容易丢失任务目标,Gamer 自带记忆管理模块持续记录任务进度。
  4. 了解训练逻辑:先学键鼠基础操作,再学习任务推理规划,最后在游戏环境里通过强化学习迭代优化。
  5. 分清落地边界:属于学术科研模型,不面向普通玩家代肝,主要价值是游戏自动化测试、屏幕智能体技术研究。

【相关 FAQ】

问题 1:米哈游发布 Gamer VLA 论文,Gamer VLA 运行游戏需要读取游戏后台内存吗?

回答 1:米哈游发布 Gamer VLA 论文,Gamer VLA 运行游戏不需要读取游戏后台内存,也不调用游戏内部 API,只采集屏幕像素画面作为视觉输入,输出键鼠操作,和真人玩家获取信息方式一致。

问题 2:米哈游 Gamer VLA 论文中的三阶段训练,每个阶段分别起到什么作用?

回答 2:米哈游 Gamer VLA 论文的三阶段训练,第一阶段持续预训练,让模型学习键鼠基础操作;第二阶段稀疏思考指令微调,学会任务分步推理并降低算力消耗;第三阶段 TA-GRPO 在线强化学习,优化长流程游戏任务执行能力。

问题 3:米哈游发布 Gamer VLA 论文,Gamer VLA 可以直接拿来做游戏代肝工具吗?

回答 3:米哈游发布 Gamer VLA 论文,Gamer VLA 是实验室科研原型,完整模型权重没有开放,定位是技术研究,不能直接拿来作为游戏代肝工具,在正式游戏内自动操作也可能违反用户协议。

问题 4:米哈游 Gamer VLA 论文配套的 Streaming-vLLM 推理引擎,作用是什么?

回答 4:米哈游 Gamer VLA 论文配套 Streaming-vLLM 推理引擎,用来优化 KV 缓存,降低模型实时交互延迟,保障长流程游戏场景下模型可以快速输出键鼠动作,满足实时游戏交互需求。

【参考资料】

[2026-11-21](米哈游发布 Gamer VLA 论文,8B 模型看屏幕键鼠操作玩崩铁)量子位

[2026-11-17](米哈游 Gamer:长时序实时游戏 VLA 智能体论文解读)HyperAI

[2026-11-17](米哈游公布通用视觉语言动作基础模型 Gamer,可自主游玩《崩坏:星穹铁道》)IT 之家

[2026-11-13](Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent)arXiv

【免责声明】

本文内容基于米哈游 Gamer VLA 公开论文与行业媒体资讯整理,Gamer VLA 属于实验室科研原型,并非正式商用产品,模型能力、权重开放计划以米哈游官方和 arXiv 论文原文为准;本文仅做技术科普,不鼓励使用同类 AI 工具在正式游戏内自动操作,避免违反游戏用户协议,本文不构成技术落地与产品使用建议。

本文来自作者[暗域编译]投稿,不代表新新网立场,如若转载,请注明出处:https://www.xxcmw.com/bdti/202611/5008.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 暗域编译
    暗域编译 2026年11月21日

    我是新新网的签约作者“暗域编译”!

  • 暗域编译
    暗域编译 2026年11月21日

    希望本篇文章《米哈游发了个VLA论文》能对你有所帮助!

  • 暗域编译
    暗域编译 2026年11月21日

    本站[新新网]内容主要涵盖:互联网行业的追踪与探索

  • 暗域编译
    暗域编译 2026年11月21日

    本文概览:米哈游崩坏 AI 研发团队在 arXiv 公开 Gamer VLA 论文,这套视觉 - 语言 - 动作基础模型最大亮点是不用读取游戏内存、不调用游

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们