Wink：从编码代理的不良行为中恢复

由大型语言模型驱动的自主编码代理在软件行业中被越来越多地用于自动化复杂的工程任务。然而，这些代理容易出现各种不良行为，例如偏离用户指令、陷入重复循环或未能正确使用工具。这些问题会中断开发流程，并通常需要耗费大量资源的人工干预。本文提出了一种能够在大规模上自动从代理不良行为中恢复的系统。我们首先基于生产流量分析引入了一个不良行为分类体系，识别出三种主要类别：规范偏移、推理问题和工具调用失败，这些情况约占所有代理轨迹的30%。为了解决这些问题，我们开发了一个轻量级、异步的自我干预系统Wink。Wink观察代理轨迹并提供针对性的纠正指导，以引导代理回到高效路径。我们在超过10,000条真实世界代理轨迹上评估了该系统，发现其能够成功解决90%需要单次干预的不良行为。此外，在我们的生产环境中进行的实时A/B测试表明，该系统显著减少了工具调用失败、每会话令牌数和每会话工程师干预次数。我们分享了设计和部署该系统的经验，提供了关于构建大规模弹性代理系统的挑战性见解。