实时交互智能体评测：从感知到行动的时机管理

为什么实时交互比静态问答更难

许多智能系统能够理解网页结构、识别游戏规则，也能根据已有信息规划操作。但在真实交互中，环境并不会因为模型正在推理而停下来：库存可能耗尽，竞价可能结束，角色可能持续移动，操作界面也可能随时间变化。模型不仅要知道“应该做什么”，还必须判断“现在是否仍然来得及做”。

这使实时任务与静态问答出现了重要差异。静态任务通常可以先完整读取输入，再逐步推理，最后提交答案；实时任务则把观察、思考和行动放进一个连续过程。模型输出得正确但过晚，结果仍可能失败。反过来，过早执行也未必合适，因为关键信息可能尚未出现，或者行动条件还没有满足。

一项针对实时交互能力的研究构建了相应评测环境，并测试了多种前沿模型。其报告显示，在环境持续推进的设定下，表现靠前的模型任务成功率也只有约44%。这一结果说明，传统的知识问答或离线规划成绩，不能直接代表系统在时间约束下的实际操作能力。

实时能力可以拆解为三个环节

评估实时智能体时，可以将完整任务分解为感知、推理和行动三个相互衔接的环节。拆分之后，失败原因更容易定位，也更便于设计改进方案。

一、感知：判断当前状态是否仍然有效

智能体首先要识别环境此刻的状态，包括页面内容、任务进度、倒计时、目标位置，以及可执行操作是否仍然存在。实时环境中的信息具有时效性：几秒前看到的按钮状态、剩余时间或目标位置，可能已经发生变化。

因此，感知并非单次读取，而是持续更新状态的过程。模型需要判断何时应再次观察、哪些变化值得关注，以及当前信息是否足以支持行动。若观察频率过低，智能体可能依据过期状态做决策；若观察过于频繁，又会消耗时间与计算资源，挤压后续推理和执行的窗口。

二、推理：把思考时间纳入决策

在不受时间限制的环境里，延长推理通常有机会提升答案质量。但在实时任务中，推理本身会带来延迟。模型需要比较继续分析可能带来的收益，与错过行动窗口造成的风险。

例如，若剩余时间充足，智能体可以继续确认条件、比较方案；若机会即将关闭，则应优先选择风险可控且足以完成目标的操作，而不是追求更复杂的最优解。这并不意味着总要尽快行动，而是要求系统根据时间余量、任务收益、失败代价和信息不确定性，动态调整推理深度。

三、行动：选择有效且及时的操作

行动阶段不仅涉及操作内容，也涉及执行时机。一次正确的点击、转向或提交，如果发生在窗口关闭之后，就无法达成目标；如果在条件尚未满足时过早执行，也可能造成误操作。

可靠的智能体需要对行动的有效期有所估计，并在执行前确认关键前提仍成立。对于高风险操作，适合进行必要的状态复核；对于即将失效的机会，则要避免反复确认和无意义的等待。感知、推理和行动之间因此形成闭环：执行后还应观察结果，判断任务是否完成，或是否需要调整策略。

评测任务应让“时机”真正影响结果

实时评测不能只把静态题目搬到网页或游戏界面上。关键在于让环境持续变化，并使成功机会受到时间或状态变化的约束。只有这样，评测才能检验模型是否会根据新信息及时调整行为。

相关测试覆盖网页任务与游戏任务，共包含30个网页场景和20个游戏场景。任务涉及出行、电商、服务、安全，以及街机、解谜、策略和模拟等类型。不同场景的操作形式虽不相同，但共同特征是：目标需要在环境变化过程中完成，动作的早晚会影响最终结果。

在实时竞价场景中，智能体需要在截止时间前作出选择，同时关注其他参与者的变化；在持续移动的游戏里，智能体必须观察运动状态并及时改变方向。网页任务则可能要求它跟踪不断更新的页面信息，并在目标条件仍有效时完成操作。这些任务能够检验的不只是规则理解，还包括状态跟踪、延迟管理和连续决策能力。

两种时钟设定帮助区分失败原因

评测设计中，环境如何随模型推理推进，是解释结果的重要因素。相关研究对比了两种时钟方式。

墙钟推进按照实际耗时推动环境。模型生成响应花费的时间越长，环境就相应前进得越多。这种设定更接近实际使用情况，因为推理延迟会直接影响可用时间。它能揭示模型在真实时限下是否能够及时完成操作，但结果也会受到系统响应速度等因素影响。

暂停时钟则在模型推理期间冻结环境，等模型完成响应后再推进状态。它提供了一个理想化参照，有助于判断模型是否理解任务、能否规划正确动作。如果模型在暂停时钟下成功、在墙钟推进下失败，问题可能更多来自延迟与时机管理；如果两种设定下都失败，则还需要检查任务理解、状态识别或策略规划是否存在不足。

需要注意的是，暂停时钟并不等同于真实交互表现。它主要用于拆解能力问题，不能替代对实际时延的评估。实际测试还应明确记录任务成功率、完成时间、无效操作、状态误判和超时等指标，避免只用单一结果掩盖系统短板。

如何构建更有诊断价值的实时评测

设计这类评测时，首先要明确成功条件与失败边界。每个任务应定义目标是否完成、完成时限、可用操作以及环境变化规则。规则应足够清晰，使评测结果反映模型能力，而不是由含糊的判定标准造成。

其次，应区分不同难度来源。例如，可以分别考察观察间隔、信息变化速度、决策复杂度和可用时间。若多个因素同时大幅增加，失败后就很难判断真正瓶颈。分层设计任务，有助于观察系统在哪一环节开始退化。

再次，应开展重复测试并统计多项指标。实时任务可能受到初始状态和环境变化影响，单次结果不一定稳定。除成功率外，完成耗时、行动次数、过期信息使用比例以及超时频率，都能提供更细致的诊断依据。对于安全相关场景，还应记录错误操作造成的后果，并设置明确的风险约束。

最后，应把模型质量与执行系统表现分开观察。交互系统的整体结果可能同时受到模型推理速度、状态读取频率、工具调用延迟和环境响应速度影响。评测报告需要交代时钟设定与运行条件，避免把系统链路中的延迟完全归因于模型推理能力。

对实际应用的启示

实时智能体的设计目标不应只是生成更长、更复杂的推理过程，而应提高单位时间内获得有效结果的能力。可以通过任务优先级管理、关键状态监测、分阶段决策和必要时的快速行动，减少无效等待。对于高价值或高风险操作，系统还需在及时性与安全确认之间进行权衡。

总体来看，实时交互评测补足了传统离线测试难以覆盖的一类能力：在环境持续变化时，能否把观察、推理与行动协调起来。它不仅衡量模型“会不会”，也衡量模型“是否来得及”。对研发团队而言，建立可复现、可分解的评测机制，是定位实时智能体短板、改进交互策略并判断部署适用性的基础。