研究者推出名为 WildAWM 的仿真电脑环境,也就是文中说的 “假电脑”,它不是一台真实 PC,是一套可以自动生成复杂电脑操作任务的模拟器,用来训练和评测会操控电脑的 AI 智能体,这套环境自动产出 341 道可解的电脑交互任务,测试结果显示即便是主打电脑使用能力的 GPT-6 Astra,无提示一次答对 Pass@1 只有约 60%,就算给到最多 8 次重试机会,依然有 27.3% 的题目完全做不对。WildAWM 的一大亮点是只用开源小模型就能自动生成这批高难度任务,每一道任务都经过验证、确定存在可行解法,但任务里藏着很多容易被大模型忽略的边界条件、多步骤依赖、界面细节陷阱,和普通公开基准不一样,避开了模型在训练数据里见过的套路。这项研究也指出,现在很多电脑 Agent 评测容易出现 “刷榜过拟合”,而这种由仿真环境动态合成、分布持续变化的任务,更贴近真实电脑使用里的陌生场景。下面整理 WildAWM 环境基础信息、各模型跑分对比、任务特点、这套评测方案的价值。
一、WildAWM “假电脑” 核心信息清单
- 环境名称:WildAWM,AWM 全称 Agentic Workspace Machine,智能体工作空间模拟器
- 本质:纯仿真的电脑 GUI 交互环境,没有真实硬件,提供文件、浏览器、表单、终端等基础桌面能力
- 任务总量:合成 341 道经过校验的电脑操作任务,全部存在可行解
- 生成方式:依靠开源模型自动生成任务,不需要大量人工标注
- 验证方式:配套自动化验证脚本,自动判断 AI 是否正确完成目标
- 测试对象:GPT-6 Astra、Opus-4.8、Qwen3.5B、GLM-5.2 等多款主流模型搭配不同 Agent 框架
二、主流模型在 WildAWM 上的 Pass@1 对比表
| 模型 | Pass@1(无提示,一次尝试成功率) | 备注 |
|---|---|---|
| GPT-6 Astra | 59.85% | OpenAI 主打电脑操作的旗舰模型 |
| Opus-4.8 | 45.55% | 闭源顶尖模型 |
| GLM-5.2 | 37.88% | 国内开源大模型 |
| Qwen3.5B-4B | 35.68% | 轻量开源模型 |
| WildAWM-4B | 27.65% | 用于生成任务的基础开源模型 |
三、WildAWM 生成任务的难点特点
- 长链式多步骤依赖:要先修改文件、搜索信息、填写表单,步骤顺序不能颠倒,跳步就会失败
- 大量细粒度界面约束:文件名、页面选项、勾选框、弹窗状态等细节是解题关键,大模型容易忽略
- 反套路设计:避开互联网上常见的 Agent 测试题模板,不在预训练数据里出现
- 环境可变:每次任务生成时文件结构、页面内容会变化,不容易被模型记住答案过拟合
- 任务存在隐藏分支:中间操作会改变后续界面状态,AI 需要持续观察反馈、动态调整计划
四、这套 “假电脑” 评测的价值与局限
- 价值:解决传统电脑 Agent 基准数据集少、容易被刷分过拟合的问题;低成本批量生成分布外的交互任务;用来持续迭代会操作电脑的 AI 智能体
- 局限:只是仿真 GUI,和真实操作系统、真实网页里的弹窗、验证码、网络异常还有差距;仿真界面视觉、交互逻辑做了简化;任务类型还局限在基础办公类电脑操作,没有覆盖复杂专业软件
【相关 FAQ】
问题 1:WildAWM 这个 “假电脑” 是什么意思,为什么它出的题 GPT-6 Astra 都做不对?
回答 1:WildAWM “假电脑” 是仿真模拟器,不是真实电脑,它自动生成带连环步骤、细节陷阱的电脑操作任务,这些任务不在模型训练素材里,GPT-6 Astra 擅长常规电脑任务,但面对陌生、强细节约束的链式交互任务很容易漏判条件,所以正确率大幅下滑。
问题 2:WildAWM 的任务是不是无解难题,为什么研究者说每道题都可以做出来?
回答 2:WildAWM 生成的所有任务都会先经过验证脚本确认存在可行操作路径,属于有解任务,只是对 AI 智能体的规划、观察、纠错能力要求很高,GPT-6 Astra 等模型多次尝试也依然有部分关卡无法找到正确操作序列。
问题 3:WildAWM “假电脑” 评测和之前电脑 Agent 评测基准差别在哪?
回答 3:很多旧基准是人工固定写好的题目,模型看多了容易记住套路;WildAWM 是自动动态合成任务,场景、文件结构每次都会变化,更适合检验 AI 在完全陌生电脑环境里的通用操控能力,不容易刷榜过拟合。
【参考资料】
[2026-11-07](“假电脑” 教 AI 用电脑,出的题连 GPT-6 Astra 都做不对)凤凰网科技
[2026-11-07](WildAWM: Synthetic Benchmark for Computer Agents)机器之心
[2026-11-07](WildAWM 仿真环境论文解读:规避 Agent 评测过拟合)智源社区
[2026-11-07](GPT-6 Astra 在 WildAWM 基准上详细实验数据)arXiv 预印本
【免责声明】
本文 WildAWM “假电脑” 仿真环境、GPT-6 Astra 测试通过率数据均来自该研究预印本与媒体转述,不代表 OpenAI 官方评测结论,不构成大模型选型建议;测试成绩是仿真环境下特定 Agent 框架、特定提示条件的结果;更换 Agent 调度逻辑、增加提示、增加重试次数,模型成功率会变化;仿真环境和真实电脑系统存在差异,真实场景表现请以实测为准。
