当操作偏离任务：检测并纠正计算机使用代理中的偏差行为

在过去一年中，计算机使用代理（CUAs）取得了显著进展，但它们仍经常产生偏离用户原始意图的偏差行为。这些偏差行为可能源于外部攻击（如间接提示注入）或内部限制（如错误推理）。这不仅使CUAs面临安全风险，还降低了任务效率和可靠性。本文首次定义并研究了CUAs中的偏差行为检测，全面覆盖了由外部因素和内部因素引起的偏差行为。我们进一步识别了现实世界中CUA部署中的三种常见类别，并构建了MisActBench，这是一个包含人工标注、动作级对齐标签的真实轨迹基准。此外，我们提出了DeAction，一种实用且通用的防护机制，能够在执行前检测偏差行为，并通过结构化反馈迭代纠正它们。在离线和在线评估中，DeAction均优于所有现有基线，具有适度的延迟开销。