通用算法隐式学习

当前元学习方法受限于固定特征和标签空间的任务分布，适用性有限。此外，现有文献中对“通用”和“通用型”等术语使用不一致，缺乏明确定义，影响可比性。本文引入了一个理论框架，形式化定义了实用的通用性，并区分了算法显式学习与算法隐式学习，为通用元学习方法提供了原理性的术语体系。基于该框架，我们提出了TAIL，一种基于Transformer的算法隐式元学习器，能够在不同领域、模态和标签配置的任务中运行。TAIL相比之前的Transformer元学习器有三个创新点：跨模态特征编码的随机投影、扩展至更大标签空间的随机注入标签嵌入以及高效的内联查询处理。TAIL在标准少样本基准测试中达到最先进性能，并能泛化到未见过的领域。与其他元学习方法不同，它还能泛化到未见过的模态，在仅训练图像的情况下解决文本分类任务，处理比训练时多20倍类别的任务，并且计算效率显著优于先前方法。