从屏幕理解到自主执行：电脑操作智能迈向通用化

近年来，人工智能模型的能力评估，正在从文本问答、代码生成逐步扩展到真实环境中的任务执行。一个明显变化是：模型不再只需要理解用户输入的文字，还要能够观察电脑屏幕，识别窗口、按钮、表格和提示信息，再通过鼠标与键盘完成一系列连续操作。

这类能力通常被称为“电脑操作智能”或“计算机使用能力”。它的目标不是简单地生成一段指令，而是让模型在接近普通用户的交互环境中，完成登录、查询、填报、文件处理、信息核对等工作。

一、核心突破：从生成答案转向完成任务

传统对话模型的工作流程通常是“输入问题—生成文本”。即使模型给出的回答非常准确，最终仍然需要用户自行打开软件、寻找功能、填写内容并确认结果。

电脑操作模型则引入了完整的执行链路：

1. 观察环境：读取屏幕截图、窗口状态和页面布局；
2. 理解界面：识别文本、图标、表格、按钮和输入区域；
3. 制定计划：分析当前状态与目标之间的差距；
4. 执行动作：移动鼠标、点击控件、输入内容或滚动页面；
5. 验证结果：判断操作是否成功，并在失败时重新规划；
6. 持续迭代：根据新的页面状态完成后续步骤。

这意味着模型的评价标准也发生了变化。回答是否通顺已经不是唯一指标，更重要的是它能否在复杂界面中找到正确位置，能否按照顺序执行动作，以及能否在页面发生变化后及时调整策略。

二、从测试数据看，界面理解能力正在提升

相关测试通常包含两类任务。

第一类是屏幕定位测试，主要考察模型能否理解屏幕内容，并准确找到指定控件。例如，测试要求模型点击某个菜单、勾选某个选项，或者在复杂页面中定位一个输入框。题述资料显示，上一代模型的定位准确率约为76.9%，新一代模型提升至92.7%。

这一变化看似只是分数提升，实际上反映了多个底层能力的进步：

• 对页面层级关系的理解更加准确；
• 能够区分相似图标和相邻控件；
• 对按钮、标签、输入框等视觉元素的识别更稳定；
• 可以结合文字语义与空间位置进行联合判断；
• 在页面布局复杂、信息密度较高时，误点击概率有所降低。

第二类是真实桌面任务测试。测试会为模型准备一台可交互的电脑，要求它完成一系列连续工作，而不是只回答一个问题。题述资料中的新一代模型完成率达到72.6%，上一代约为65.7%。

真实任务完成率比单次点击准确率更能反映实际使用价值。因为一项工作往往包含多个步骤，只要其中一个关键环节失败，整个任务就可能无法完成。例如，模型即使准确打开了页面，也可能因为没有识别弹窗、误填字段、忘记提交或未验证结果而导致任务失败。

因此，连续任务能力的提升，说明模型已经开始具备一定的状态跟踪、步骤规划和错误恢复能力。

三、电脑操作智能的技术组成

1. 多模态屏幕感知

电脑屏幕并不是普通图片。模型需要同时理解视觉结构和文字语义。

例如，一个表格页面可能包含标题、筛选条件、分页按钮、数据行和操作菜单。模型不仅要识别这些元素，还要理解它们之间的关系：哪个按钮控制筛选，哪个字段需要输入，某个操作是否针对整张表，还是仅针对当前行。

较成熟的屏幕感知系统通常需要处理以下信息：

• 页面中的文字及其位置；
• 控件的形状、颜色和状态；
• 窗口之间的层级关系；
• 弹窗、遮罩和提示信息；
• 当前光标、选中项和输入焦点；
• 页面滚动前后的内容变化。

如果只依赖文字识别，模型可能知道页面上有哪些词，却不知道它们具体对应哪个可点击区域；如果只依赖图像理解，又可能无法准确读取字段名称和业务数据。因此，视觉结构与语言语义的融合是关键。

2. 目标分解与操作规划

用户提出的任务通常是高层目标，例如“整理一份数据并提交审批”。模型需要把它拆解成多个可执行步骤：

读取任务目标
  ↓
确认所需页面和权限
  ↓
查找目标数据
  ↓
核对字段与条件
  ↓
填写或修改内容
  ↓
提交操作
  ↓
检查反馈并记录结果

在这个过程中，模型不能只生成一次性计划。真实页面可能出现加载延迟、权限提示、输入错误或流程变化，因此更合理的方式是“边观察、边规划、边执行”。

这种方式类似于一个闭环控制系统：每执行一步，就重新读取环境状态，再决定下一步动作。它比提前生成完整操作脚本更加灵活，也更适合应对页面变化。

3. 动作执行与结果验证

点击一个按钮并不代表任务完成。按钮可能没有响应，也可能打开了新的页面、弹出了确认窗口，甚至触发了错误提示。

因此，模型需要建立动作后的验证机制。例如：

• 点击后是否出现预期页面；
• 输入框中是否确实写入了目标内容；
• 提交后是否出现成功提示；
• 页面数据是否发生预期变化；
• 是否出现需要人工确认的异常状态。

如果没有验证环节，模型可能在第一步失败后继续执行后续动作，最终造成更大范围的错误。对于企业场景而言，验证能力往往比单次点击准确率更加重要。

四、为什么测试分数不能等同于通用人工智能

“全球最强”或“AGI时代到来”属于传播性很强的表达，但从技术评估角度看，需要保持谨慎。

第一，测试环境通常具有明确目标和有限范围。模型可能在规定的页面、任务类型和操作方式中表现良好，但不代表它可以处理所有软件和所有业务流程。

第二，完成率并不等同于可靠性。一个任务完成率达到七成，意味着仍有相当比例的任务可能失败。对于低风险的信息查询，这种水平或许具有实用价值；但对于财务审批、权限变更、生产系统操作等场景，仍然需要更严格的校验和人工确认。

第三，模型能力还受到环境因素影响，包括页面加载速度、网络状态、验证码、权限配置、窗口分辨率以及操作系统差异等。相同模型在不同设备和不同业务系统中，表现可能存在明显差异。

因此，更准确的表述应当是：电脑操作模型在屏幕理解和连续任务执行方面取得了重要进步，但距离能够稳定承担开放世界中的复杂工作，还需要持续提升。

五、企业落地需要重点解决的问题

1. 权限边界

模型不应默认拥有完整电脑权限。企业需要按照最小权限原则，为自动化任务配置独立账号、限定访问范围，并限制敏感操作。

2. 高风险动作确认

涉及资金、删除数据、修改权限、发送正式文件等操作时，应设置人工确认节点。模型可以负责准备和检查，但最终执行应由授权人员确认。

3. 全过程审计

系统需要记录模型看到了什么、执行了哪些动作、使用了哪些输入，以及最终产生了什么结果。这样既便于排查问题，也有助于满足合规要求。

4. 异常恢复

当页面出现未知弹窗、权限不足或网络中断时，模型不应盲目重试，而应暂停任务并向用户说明当前状态。

5. 敏感信息保护

屏幕中可能包含身份信息、内部数据和商业资料。部署时应做好数据脱敏、访问隔离和传输保护，避免将不必要的信息暴露给模型处理链路。

六、开发者应如何设计这类系统

对于开发者而言，电脑操作智能不应被理解为“让模型自由点击”，而应设计为一个可控的任务执行框架。

一个较稳妥的架构可以包括：

• 任务解析层：识别目标、约束和风险等级；
• 屏幕理解层：提取界面元素及其空间关系；
• 规划层：生成可解释的分步计划；
• 执行层：调用受限的鼠标、键盘或页面交互能力；
• 验证层：检查动作结果；
• 安全层：处理权限、确认、审计和异常终止。

在工程实践中，还应优先选择结构化程度较高、风险较低的任务进行试点，例如信息查询、报表整理、重复性录入和流程状态检查。对于关键业务，应采用“模型建议+规则校验+人工确认”的组合方式，而不是完全无人值守。

结语

电脑操作能力的提升，代表人工智能正在从“理解信息”迈向“作用于环境”。屏幕识别、动作规划、连续执行和结果验证的结合，使模型具备了处理部分真实办公任务的可能性。

但这并不意味着通用人工智能已经全面到来。真正可靠的智能系统，除了要有更高的测试分数，还必须具备稳定性、可解释性、安全边界和长期运行能力。未来的竞争重点，也将从单纯比较模型大小和单项成绩，转向比较谁能在真实业务中持续、可控、低风险地完成工作。