用于贝叶斯优化的大语言模型的自适应获取选择

贝叶斯优化的关键在于获取函数的选择，但没有一种策略是普遍最优的。现有自适应方法通常仅依赖于历史函数值，而忽略了剩余预算或替代模型特性等更丰富的信息。为解决这一问题，本文提出LMABO框架，将预训练大语言模型作为零样本在线策略制定者，用于贝叶斯优化过程。在每次迭代中，LMABO通过结构化状态表示提示LLM从多样化组合中选择最合适的获取函数。在50个基准问题上的评估表明，LMABO显著优于静态、自适应组合及其他基于LLM的基线方法。实验表明，LLM的行为是一种全面的策略，能够实时适应优化进度，其优势源于其处理和综合完整优化状态的能力，从而生成有效的自适应策略。