RankEvolve：通过LLM驱动的进化自动发现检索算法

BM25和带有狄利克雷平滑的查询似然等检索算法仍然是高效的第一阶段排序器，但其改进主要依赖于参数调优和人类直觉。本文探讨了是否可以通过评估器引导的大语言模型（LLM）和进化搜索，自动发现改进的词法检索算法。我们引入了RankEvolve，这是一种基于AlphaEvolve的程序进化框架，候选排序算法以可执行代码形式表示，并通过迭代变异、重组和选择进行优化，依据在BEIR和BRIGHT数据集上的检索性能进行评估。RankEvolve从两个种子程序开始：BM25和带狄利克雷平滑的查询似然。进化出的算法新颖且有效，在完整的BEIR和BRIGHT基准测试以及TREC DL 19和20上均表现出良好的迁移能力。实验结果表明，评估器引导的LLM程序进化是自动发现新型排序算法的一种可行路径。