摘要
诸如思维链(Chain of Thought)、思维树(Tree of Thoughts)和思维图(Graph of Thoughts)等提示方法可以显著增强大语言模型的推理能力。然而,现有方法通常需要用户定义静态且问题特定的推理结构,缺乏对动态或未见过的问题类型的适应性。此外,这些方法在超参数、提示、运行时和提示成本方面往往未得到充分优化。为了解决这些问题,我们提出了思维框架(Framework of Thoughts, FoT)——一种通用的基础框架,用于构建和优化动态推理方案。FoT内置了超参数调优、提示优化、并行执行和智能缓存等功能,释放了推理方案的潜在性能。我们通过在FoT中实现三种流行的方案(思维树、思维图和ProbTree),展示了FoT的能力。实验证明,FoT能够显著加快执行速度,降低成本,并通过优化实现更好的任务得分。我们发布了代码库,以促进未来动态高效推理方案的发展。
AI 推荐理由
论文聚焦于提升LLM的推理能力,提出动态优化的推理框架,直接对应reasoning主题。
论文信息