---
title: "计算机操作（computer use）是什么"
description: "计算机操作让模型看屏幕截图、输出鼠标键盘动作，由执行层在沙箱或虚拟机里完成操作。它适合没有 API 的旧系统，但延迟和出错代价高，不该是浏览器自动化的默认选择。"
updated: 2026-11-13
canonical: https://docai.cc/concepts/computer-use/
markdown_mirror: https://docai.cc/concepts/computer-use.md
---
## 它是什么

计算机操作（computer use）是让模型观看图形界面、再输出鼠标与键盘动作的一类能力。模型拿到的是屏幕截图，返回的是「点哪里、输入什么、按哪个键」，真正执行动作的是你写的执行层，通常跑在一台虚拟机或沙箱容器里。

它解决的不是「模型会不会用电脑」，而是「这个软件没有 API 怎么办」。老式管理后台、桌面客户端、只有界面没有接口的内部系统，都可以用这条路走通。

模型本身不接触你的真实桌面。截图与执行都发生在你给它的环境里，这一点决定了后面所有的安全设计。

## 怎么工作

一次循环包含几步：

- 执行层截屏，把当前画面交给模型；
- 模型返回一个动作，例如移动鼠标、点击坐标、键入文本、按键或滚动；
- 执行层在隔离环境里执行该动作；
- 重新截屏，进入下一轮，直到模型判断完成或触发停止条件。

每轮都要截图、上传、推理、执行，所以延迟明显高于调用接口。一个需要多次交互的流程，耗时远高于一次接口调用。坐标点击也脆弱：窗口位置变了、分辨率缩放不同、弹窗遮挡，动作都会落空。工程上要加最大步数、失败重试和人工接管，而不是指望它一次做对。

截图本质上是图片输入，所以这条路线建立在[多模态](/concepts/multimodal/)能力上。

高风险动作必须由人确认：付款、提交订单、删除数据、对外发消息。执行环境要隔离，只给完成任务所需的最小权限，不要把带凭据的浏览器会话直接暴露给它，因为屏幕上的内容——包括网页里的文字——都可能被当成指令。这是[提示注入](/concepts/prompt-injection/)在图形界面里的版本。

## 什么时候值得用

适合三类场景：没有 API 的旧系统；一次性迁移或批量录入；内部工具的界面巡检。

反过来说，能调接口就不要点界面，能用页面结构定位就不要靠像素坐标。浏览器自动化应该优先用 Playwright 这类工具，或者基于页面结构的浏览器工具；它们有选择器和稳定等待，比截图点击可靠得多。computer use 是兜底方案，不是默认方案。

在 Agent 架构里，它就是一个特殊工具：模型决定是否调用，执行层负责落地。相关机制可以看[工具调用](/concepts/tool-use/)和[Agent](/concepts/agent/)。

## 常见误解

- **「模型会自己操作电脑」**：不会。模型只输出动作意图，执行权在你的代码里。
- **「截图能看懂就等于稳定」**：能看懂和每一步都不点错是两件事；界面稍有变化就会偏。
- **「它就是浏览器自动化」**：浏览器自动化有页面结构和选择器，computer use 只有像素；后者更通用，也更慢更脆。
- **「放进虚拟机就安全了」**：隔离降低了影响面，但注入、误操作和凭据泄露仍需单独处理。