FAMOSE：一种基于ReAct范式的自动化特征发现方法

特征工程仍然是机器学习中的关键瓶颈，尤其对于表格数据而言，从指数级大的特征空间中识别最优特征通常需要大量领域专业知识。为解决这一问题，本文提出FAMOSE（Feature AugMentation and Optimal Selection agEnt），一个利用ReAct范式自主探索、生成和优化特征的新框架，并在代理架构中集成了特征选择与评估工具。据我们所知，FAMOSE是首个将代理ReAct框架应用于自动化特征工程的工作，适用于回归和分类任务。实验表明，FAMOSE在分类任务上达到或接近最先进水平（尤其在样本数超过10K的任务中，ROC-AUC平均提高0.23%），并在回归任务中取得最先进的结果（RMSE平均降低2.0%），且比其他算法更具鲁棒性。我们认为FAMOSE的优异表现源于ReAct允许LLM通过迭代特征发现和评估步骤记录哪些特征有效或无效，类似于少样本提示，从而引导LLM发明更优、更具创新性的特征。我们的工作提供了证据，证明AI代理在需要高度创新性解决方案的问题（如特征工程）中表现出色。