AnalyticsGPT：一种用于科学计量问答的LLM工作流

本文介绍了AnalyticsGPT，这是一种基于大语言模型（LLM）的直观且高效的科学计量问答工作流。该任务属于元科学问题的子类别，涉及对科学本身的分析。与传统的基于论文的科学问答相比，该任务在规划阶段面临独特挑战，如学术实体的命名实体识别以及涉及科学计量指标（如影响因子）的多方面数据检索。除了处理传统自然语言处理任务的能力外，LLMs在更复杂的任务分解、规划和推理中也展现出巨大潜力。本文探索了LLMs在科学计量问答中的应用，并描述了一个端到端系统，实现了结合检索增强生成和智能体概念的顺序工作流。同时，本文还解决了如何有效将数据综合为可展示的高层分析的问题。作为检索增强生成的数据库，我们使用了一个专有的研究绩效评估平台。在评估过程中，我们咨询了经验丰富的主题专家，并利用LLMs作为评判者。通过这些方法，我们提供了关于LLMs在这一小众下游任务中有效性的宝贵见解。