您的位置首页 >机器人 >

WildAWM 仿真 “假电脑” 用来训练电脑使用智能体,生成任务就连 GPT-6 Astra 也很难全部答对

研究者推出名为 WildAWM 的仿真电脑环境,也就是文中说的 “假电脑”,它不是一台真实 PC,是一套可以自动生成复杂电脑操作任务的模拟器,用来训练和评测会操控电脑的 AI 智能体,这套环境自动产出 341 道可解的电脑交互任务,测试结果显示即便是主打电脑使用能力的 GPT-6 Astra,无提示一次答对 Pass@1 只有约 60%,就算给到最多 8 次重试机会,依然有 27.3% 的题目完全做不对。WildAWM 的一大亮点是只用开源小模型就能自动生成这批高难度任务,每一道任务都经过验证、确定存在可行解法,但任务里藏着很多容易被大模型忽略的边界条件、多步骤依赖、界面细节陷阱,和普通公开基准不一样,避开了模型在训练数据里见过的套路。这项研究也指出,现在很多电脑 Agent 评测容易出现 “刷榜过拟合”,而这种由仿真环境动态合成、分布持续变化的任务,更贴近真实电脑使用里的陌生场景。下面整理 WildAWM 环境基础信息、各模型跑分对比、任务特点、这套评测方案的价值。

一、WildAWM “假电脑” 核心信息清单

  • 环境名称:WildAWM,AWM 全称 Agentic Workspace Machine,智能体工作空间模拟器
  • 本质:纯仿真的电脑 GUI 交互环境,没有真实硬件,提供文件、浏览器、表单、终端等基础桌面能力
  • 任务总量:合成 341 道经过校验的电脑操作任务,全部存在可行解
  • 生成方式:依靠开源模型自动生成任务,不需要大量人工标注
  • 验证方式:配套自动化验证脚本,自动判断 AI 是否正确完成目标
  • 测试对象:GPT-6 Astra、Opus-4.8、Qwen3.5B、GLM-5.2 等多款主流模型搭配不同 Agent 框架

二、主流模型在 WildAWM 上的 Pass@1 对比表

模型Pass@1(无提示,一次尝试成功率)备注
GPT-6 Astra59.85%OpenAI 主打电脑操作的旗舰模型
Opus-4.845.55%闭源顶尖模型
GLM-5.237.88%国内开源大模型
Qwen3.5B-4B35.68%轻量开源模型
WildAWM-4B27.65%用于生成任务的基础开源模型

三、WildAWM 生成任务的难点特点

  1. 长链式多步骤依赖:要先修改文件、搜索信息、填写表单,步骤顺序不能颠倒,跳步就会失败
  2. 大量细粒度界面约束:文件名、页面选项、勾选框、弹窗状态等细节是解题关键,大模型容易忽略
  3. 反套路设计:避开互联网上常见的 Agent 测试题模板,不在预训练数据里出现
  4. 环境可变:每次任务生成时文件结构、页面内容会变化,不容易被模型记住答案过拟合
  5. 任务存在隐藏分支:中间操作会改变后续界面状态,AI 需要持续观察反馈、动态调整计划

四、这套 “假电脑” 评测的价值与局限

  1. 价值:解决传统电脑 Agent 基准数据集少、容易被刷分过拟合的问题;低成本批量生成分布外的交互任务;用来持续迭代会操作电脑的 AI 智能体
  2. 局限:只是仿真 GUI,和真实操作系统、真实网页里的弹窗、验证码、网络异常还有差距;仿真界面视觉、交互逻辑做了简化;任务类型还局限在基础办公类电脑操作,没有覆盖复杂专业软件

【相关 FAQ】

问题 1:WildAWM 这个 “假电脑” 是什么意思,为什么它出的题 GPT-6 Astra 都做不对?

回答 1:WildAWM “假电脑” 是仿真模拟器,不是真实电脑,它自动生成带连环步骤、细节陷阱的电脑操作任务,这些任务不在模型训练素材里,GPT-6 Astra 擅长常规电脑任务,但面对陌生、强细节约束的链式交互任务很容易漏判条件,所以正确率大幅下滑。

问题 2:WildAWM 的任务是不是无解难题,为什么研究者说每道题都可以做出来?

回答 2:WildAWM 生成的所有任务都会先经过验证脚本确认存在可行操作路径,属于有解任务,只是对 AI 智能体的规划、观察、纠错能力要求很高,GPT-6 Astra 等模型多次尝试也依然有部分关卡无法找到正确操作序列。

问题 3:WildAWM “假电脑” 评测和之前电脑 Agent 评测基准差别在哪?

回答 3:很多旧基准是人工固定写好的题目,模型看多了容易记住套路;WildAWM 是自动动态合成任务,场景、文件结构每次都会变化,更适合检验 AI 在完全陌生电脑环境里的通用操控能力,不容易刷榜过拟合。

【参考资料】

[2026-11-07](“假电脑” 教 AI 用电脑,出的题连 GPT-6 Astra 都做不对)凤凰网科技

[2026-11-07](WildAWM: Synthetic Benchmark for Computer Agents)机器之心

[2026-11-07](WildAWM 仿真环境论文解读:规避 Agent 评测过拟合)智源社区

[2026-11-07](GPT-6 Astra 在 WildAWM 基准上详细实验数据)arXiv 预印本

【免责声明】

本文 WildAWM “假电脑” 仿真环境、GPT-6 Astra 测试通过率数据均来自该研究预印本与媒体转述,不代表 OpenAI 官方评测结论,不构成大模型选型建议;测试成绩是仿真环境下特定 Agent 框架、特定提示条件的结果;更换 Agent 调度逻辑、增加提示、增加重试次数,模型成功率会变化;仿真环境和真实电脑系统存在差异,真实场景表现请以实测为准。