ARTICLE · 人工智能
计算机使用智能体：点击操作的现状
一语总结本文对计算机使用智能体进行了严谨的技术分析，解释了 Token 算术、复合失败率，以及何时部署 GUI 自动化而非 API 或确定性脚本的实用决策框架。
文章从 Token 经济学和概率视角剖析了计算机使用智能体 —— 这类通过观察屏幕截图并发出鼠标/键盘动作的 LLM 驱动系统。它形式化了智能体循环（截图 → 点击/输入/滚动 → 重复），量化了保留图像历史的 Token 成本（40 步保留完整历史约 110 万 Token，剪枝后仅 16.4 万），并演示了单步成功率如何复合：单步准确率 97% 在 40 步任务中仅能带来约 30% 的整体成功率。作者调研了关键基准（OSWorld、WebArena、WebVoyager、Windows Agent Arena），梳理了真实世界的失败模态（模态框中断、焦点丢失、嵌套滚动容器、时序问题、提示词注入、验证码），并给出了清晰的决策流程：优先用 API，其次是无障碍树自动化，再次是录制型确定性脚本，仅在没有其他界面的遗留桌面应用中才使用计算机使用智能体 —— 并配合步数预算、沙箱与人工把关不可逆操作。
- Token 算术使长程计算机使用任务成本高昂，迫使激进的图像剪枝。
每张 1280×800 截图约消耗 1，365 Token；40 步保留完整历史将超过 100 万 Token。实际实现会剪枝至最近 3 张截图加固定检查点，以牺牲对比远距离状态的能力换取可负担性。
- 单步失败率的复合效应导致长任务不可靠，即便单步准确率很高。
假设单步独立成功概率为 p，n 步任务成功概率为 p^n。当 p=0.97 时，40 步任务成功率仅约 30%。这解释了为何令人印象深刻的演示（短 n）无法转化为可靠的生产工作流（大 n）。
- 恢复与验证步骤是打破独立失败模型的关键设计杠杆。
增加验证步骤（截图确认）虽增加 n，但能检测并撤销错误状态，将失败模型从独立型转为可恢复型。通过深链接缩短任务也能使成功率超线性提升。
- 计算机使用智能体是最后手段的接口 —— 优先用 API、无障碍自动化或确定性脚本。
决策层级：API（1 步，状态码）> 稳定 DOM 配合无障碍选择器（可靠、低成本）> 录制型确定性脚本（可复现流程）> 计算机使用智能体（仅用于无其他接口的遗留桌面应用），始终配合沙箱、步数预算与人工把关。
- 真实世界的失败模态主要源于环境不可预测性，而非模型推理错误。
模态框中断、焦点丢失、嵌套滚动容器、动画中截图、页面内容注入提示词、验证码导致了大多数失败。这些是系统集成挑战，而非纯模型能力缺口。
计算机使用智能体：点击操作的现状
文章从 Token 经济学和概率视角剖析了计算机使用智能体 —— 这类通过观察屏幕截图并发出鼠标/键盘动作的 LLM 驱动系统。它形式化了智能体循环（截图 → 点击/输入/滚动 → 重复），量化了保留图像历史的 Token 成本（40 步保留完整历史约 110 万 Token，剪枝后仅 16.4 万），并演示了单步成功率如何复合：单步准确率 97% 在 40 步任务中仅能带来约 30% 的整体成功率。作者调研了关键基准（OSWorld、WebArena、WebVoyager、Windows Agent Arena），梳理了真实世界的失败模态（模态框中断、焦点丢失、嵌套滚动容器、时序问题、提示词注入、验证码），并给出了清晰的决策流程：优先用 API，其次是无障碍树自动化，再次是录制型确定性脚本，仅在没有其他界面的遗留桌面应用中才使用计算机使用智能体 —— 并配合步数预算、沙箱与人工把关不可逆操作。
文章金句
"计算机使用是最后手段的接口，这其实是一种褒奖 —— 它的存在正是为那些没有其他接口的系统而设。
"一个单步点击准确率达到 97% 的模型 —— 听起来很棒，确实也很棒 —— 在四十步工作流中的完成率却只有约 30%。这一张表调和了人们对计算机使用的两种截然不同的评价：演示很惊艳，但实用性不足。两者皆真，只是同一个数字在不同 n 值下的投影。
"观察可被攻击者控制。网页中可以包含针对智能体的文本 —— 而智能体正在阅读该页面。这正是计算机使用必须置于真实沙箱、使用限权配置文件、且不得访问非必要凭证的原因。