计算机操作（computer use）是什么

它是什么

计算机操作（computer use）是让模型观看图形界面、再输出鼠标与键盘动作的一类能力。模型拿到的是屏幕截图，返回的是「点哪里、输入什么、按哪个键」，真正执行动作的是你写的执行层，通常跑在一台虚拟机或沙箱容器里。

它解决的不是「模型会不会用电脑」，而是「这个软件没有 API 怎么办」。老式管理后台、桌面客户端、只有界面没有接口的内部系统，都可以用这条路走通。

模型本身不接触你的真实桌面。截图与执行都发生在你给它的环境里，这一点决定了后面所有的安全设计。

怎么工作

一次循环包含几步：

• 执行层截屏，把当前画面交给模型；
• 模型返回一个动作，例如移动鼠标、点击坐标、键入文本、按键或滚动；
• 执行层在隔离环境里执行该动作；
• 重新截屏，进入下一轮，直到模型判断完成或触发停止条件。

每轮都要截图、上传、推理、执行，所以延迟明显高于调用接口。一个需要多次交互的流程，耗时远高于一次接口调用。坐标点击也脆弱：窗口位置变了、分辨率缩放不同、弹窗遮挡，动作都会落空。工程上要加最大步数、失败重试和人工接管，而不是指望它一次做对。

截图本质上是图片输入，所以这条路线建立在多模态能力上。

高风险动作必须由人确认：付款、提交订单、删除数据、对外发消息。执行环境要隔离，只给完成任务所需的最小权限，不要把带凭据的浏览器会话直接暴露给它，因为屏幕上的内容——包括网页里的文字——都可能被当成指令。这是提示注入在图形界面里的版本。

什么时候值得用

适合三类场景：没有 API 的旧系统；一次性迁移或批量录入；内部工具的界面巡检。

反过来说，能调接口就不要点界面，能用页面结构定位就不要靠像素坐标。浏览器自动化应该优先用 Playwright 这类工具，或者基于页面结构的浏览器工具；它们有选择器和稳定等待，比截图点击可靠得多。computer use 是兜底方案，不是默认方案。

在 Agent 架构里，它就是一个特殊工具：模型决定是否调用，执行层负责落地。相关机制可以看工具调用和Agent。

常见误解

• 「模型会自己操作电脑」：不会。模型只输出动作意图，执行权在你的代码里。
• 「截图能看懂就等于稳定」：能看懂和每一步都不点错是两件事；界面稍有变化就会偏。
• 「它就是浏览器自动化」：浏览器自动化有页面结构和选择器，computer use 只有像素；后者更通用，也更慢更脆。
• 「放进虚拟机就安全了」：隔离降低了影响面，但注入、误操作和凭据泄露仍需单独处理。