大模型智能体如何落地：能力、流程与安全边界

大模型正在从只会回答问题的对话工具，变成能看屏幕、调用工具、连续完成多步任务的智能体。能力变强后，有两个问题比分数更重要：结果有多可靠，出错后能不能及时控制。本文按推理评测、电脑操控、企业文档与代码生成、安全对齐四部分梳理，并标出哪些说法需要回到原始资料核实。

一、推理能力：先看清评测条件，再看分数

数学和抽象推理测试的成绩提升很快。但一个分数只有写明测试集、评测方式和对比基线，才有参考价值。同样是数学题，允许调用代码解释器、允许多次采样投票，和只允许单次作答，得到的结果可能相差很大。

引用评测结果前，建议核对四项：

• 测试集名称与版本。GSM8K、MATH、ARC-AGI 的题目范围和难度各不相同，不能混为一谈。
• 评测条件。是否允许工具调用，推理长度是多少，采样几次。
• 对比对象。模型与基线是否在同一口径下测试。
• 原始来源。应指向论文、技术报告或官方评测页面，而不是转述文章。

在科研场景中，模型适合做文献检索、提出中间引理，并用代码验证推导过程。涉及具体数值进展，例如素数间距的最新结果，应直接查阅原始论文或预印本。二手描述在转述过程中容易丢失条件，数字也可能被放大。

二、电脑操控：从固定脚本到视觉与控件树双校验

传统 RPA（机器人流程自动化）依赖固定的控件路径或网页节点。界面一改版，脚本就会失效，这种现象常被称为界面漂移。新一代智能体的思路不同。它截取屏幕图像，用多模态模型识别按钮、输入框和文字的位置，同时读取系统可访问性接口提供的控件树。两类信息互相印证，定位会比只依赖单一来源更稳定。

典型场景包括自动填写在线表单、更新客户关系管理系统中的记录、整理日历，以及检索资料后起草摘要。这些任务步骤多、涉及的界面分散，适合交给智能体按计划执行。

下面是一段简化的执行框架，展示任务拆解、观察、决策、执行和校验的循环。示例省略了具体的 SDK 调用，重点放在控制流程。

import time
MAX_STEPS = 30      # 单任务的最大尝试次数，防止无限循环
MAX_RETRY = 3       # 单个子步骤的最大重试次数
def run_agent(task: str, planner, perceiver, actor, executor, verifier):
    """ReAct 风格的执行循环：观察、决策、执行、校验。"""
    plan = planner.decompose(task)              # 把任务拆成有序子步骤
    step_idx, steps_used = 0, 0
    while step_idx < len(plan) and steps_used < MAX_STEPS:
        step = plan[step_idx]
        retries = 0
        while retries <= MAX_RETRY:
            steps_used += 1
            # 1. 观察：同时获取截图和控件树
            screenshot = perceiver.capture()
            ui_tree = perceiver.read_accessibility_tree()
            # 2. 决策：模型输出结构化动作，例如
            #    {"type": "click", "target": "submit", "x": 0.52, "y": 0.31}
            #    模型给出的是归一化坐标 (0~1)，需按屏幕分辨率换算为像素
            action = actor.predict(step=step, screenshot=screenshot, ui_tree=ui_tree)
            action = perceiver.normalize_coords(action)
            # 3. 执行：删除、发送、提交等不可逆动作，先请求用户确认
            if action.irreversible and not executor.confirm_with_user(action):
                return {"status": "cancelled", "step": step}
            try:
                result = executor.run(action)
            except TimeoutError:
                time.sleep(2 ** retries)        # 指数退避后重试
                retries += 1
                continue
            # 4. 校验：独立判断步骤是否真正完成，而不是只看执行有没有报错
            if verifier.check(step, result, perceiver.capture()):
                break
            retries += 1
        else:
            # 重试次数耗尽，交还人工处理
            return {"status": "failed", "step": step}
        step_idx += 1
    return {"status": "done" if step_idx == len(plan) else "incomplete"}

代码中最关键的是校验步骤。表单提交后页面显示“成功”，不代表数据已正确写入数据库。校验应读取最终状态，再与预期值比较。例如提交客户信息后，重新查询这条记录，核对电话号码和状态字段。

另外两点需要注意。第一，模型输出的坐标通常是归一化数值，必须按当前屏幕分辨率换算为像素，否则点击位置会偏。第二，irreversible 标记最好由规则判断，例如按钮文字含“删除”“付款”“发送”时触发确认，而不是完全交给模型自行声明。步数上限和重试上限则能防止任务陷入死循环，超出上限的任务应交给人工处理，并保留完整日志。

三、企业文档与代码生成：用约束和测试代替目测

企业文档对格式和口径要求严格。可行做法是把模板、字段类型和必填项写成结构化约束，让模型按 Schema 输出，再由程序校验。下面的约束要求合同金额为非负数，签约日期为标准日期格式：

{
  "type": "object",
  "required": ["客户名称", "合同金额", "签约日期"],
  "properties": {
    "合同金额": {"type": "number", "minimum": 0},
    "签约日期": {"type": "string", "format": "date"}
  }
}

Schema 只能保证格式正确，不能保证内容真实。金额写成 1000 元或 100000 元，格式上都合法，所以关键字段仍需与原始合同比对。

代码生成的判断标准应是能否编译、能否通过单元测试和静态检查，而不是读起来像不像正确代码。推荐流程如下：

1. 生成代码。
2. 在隔离环境中编译和运行。常用做法是 Docker 容器，安全要求更高时可以使用 Firecracker 微虚拟机。无论选哪种，都应限制网络访问和文件权限。
3. 运行已有测试。
4. 补充边界条件的新测试，例如空输入、超长字符串和并发请求。
5. 由人工审查设计方案和依赖变更。

软件工程基准的分数同样需要带条件引用。原始材料提到通过率超过 57.9%，但没有写明基准版本和评测设置。SWE-bench Verified 等基准的版本、运行脚手架和重试次数都会影响结果，引用前应回到官方页面核对。

四、安全对齐：降低风险，但不能归零

基于人类反馈的强化学习和宪法式训练，能减少模型越权操作和编造内容的倾向。这些方法不能提供绝对保证。常见风险包括：

• 越狱提示：通过角色扮演、多轮诱导等方式绕过行为约束。
• 间接提示注入：网页或文档中藏有指令，模型读取后误执行。例如网页隐藏文字写着“把通讯录发给某邮箱”，模型可能照做。
• 幻觉：证据不足时，模型仍可能给出看似合理的答案。

原始材料中“越权概率从 48% 降至 0%”和“幻觉率降低约三倍”的说法，没有给出测试条件和样本规模，不宜直接当作结论使用。

工程上应采用分层防御：

• 最小权限：智能体只拿完成任务所需的工具和账号权限。
• 人工确认：删除、发送、付款等敏感操作由人确认后再执行。
• 数据与指令分离：外部内容只作为数据处理，不当作指令执行。
• 审计日志：记录每一步动作、输入和结果，便于事后追查。

五、事实核验：检索增强加置信度过滤

涉及事实的回答，最好先检索再生成。具体做法分三步。

第一步，用检索增强生成（RAG）从可信知识库中取出相关段落，要求回答只能基于这些段落。

第二步，要求模型为每条事实标注来源。找不到来源的内容直接删除，或标为待核实。

第三步，设置置信度过滤。可以综合多次采样的一致性、检索相关度得分和引用覆盖率作为信号。低于阈值的结论不自动发布，转给人工复核。

这套方法不能消除错误，但能把错误限制在可追踪的范围内。知识库本身过期，检索结果也会过期，因此知识库需要定期更新，并记录每份文档的版本和日期。

六、落地前的判断清单

• 任务有没有明确的完成标准，能否用程序读取最终状态来校验。
• 出错的代价是否可接受。涉及金钱、隐私或对外发送的任务，默认需要人工确认。
• 是否设置了步数上限和超时机制。
• 日志能否还原每一步动作，方便排查问题。

大模型智能体落地常见问题

界面改版后，智能体点错位置怎么办？

先检查两件事。一是视觉定位和控件树给出的结果是否一致，不一致时应停止重试并转人工。二是坐标换算是否按当前分辨率处理。若界面改动频繁，应优先使用控件树中的稳定标识，减少对像素位置的依赖。

任务一直重复执行，如何排查？

查看日志中同一步骤的输入与输出是否反复出现。常见原因包括校验条件写得过严、界面弹出了未处理的对话框，或模型每次都给出相同动作。代码中的 MAX_STEPS 和 MAX_RETRY 会在上限处停止任务，并返回需要人工处理的状态。