何时信任廉价检查：推理的弱验证与强验证

随着大语言模型（LLM）在更广泛的验证循环中进行推理，系统内部使用诸如自一致性或代理奖励等低成本检查（称为弱验证），而外部用户则通过反馈对输出进行审查以确保结果可信（称为强验证）。这两种验证方式在成本和可靠性上存在显著差异。本文通过形式化弱-强验证策略，决定何时接受或拒绝基于弱验证的结果，以及何时转为强验证。我们引入了衡量错误接受、错误拒绝和强验证频率的指标，并证明最优策略具有双阈值结构。此外，我们开发了一种在线算法，在无需假设查询流、语言模型或弱验证器的前提下，可有效控制接受和拒绝错误。