本文提出了一种用于多模态多任务学习的 few-shot 学习框架，采用预训练的视觉和语言模型，并通过任务特定的超网络和对比度微调来适应不同的场景，学习视觉推理、视觉问答和自然语言理解等重要任务。

Feb, 2023

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。

Jun, 2021

本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

Jul, 2023

多模态模型的少样本适应方法在医学成像等领域仍有待提高，研究者提出了基于提示、适配器和外部知识的三种技术方法，本论文对这些方法进行了综述及对比，并推导出了多模态模型少样本适应的泛化误差界限及相应解决方案。

Jan, 2024

为了解决深度学习中少样本学习的挑战，我们提出了一个简单而有效的框架，专门设计用于利用文本信息和语言模型，通过学习可调的提示来显式地利用预训练的语言模型的零样本能力，并且直接将视觉特征和文本特征进行推断而无需复杂设计的融合模块，进一步运用自集成和蒸馏来增强这些组件，在四个广泛使用的少样本数据集上进行了大量实验证明我们的简单框架取得了令人印象深刻的结果，特别值得注意的是，在 1-shot 学习任务中，我们的分类准确率平均超过基准方法 3.0%。

Jan, 2024

本文提出了两种基于 Siamese 神经网络的 few-shot 学习方法，应用于临床自然语言处理的文本分类和实体识别任务。实验结果证明了这种方法的有效性。

Aug, 2022

对于临床实体识别任务，大型语言模型的少样本能力在低资源环境下取得高性能，但在临床领域，轻量级的监督标注模型结合掩蔽语言模型的表现更好，并且二者的 CO2 排放量相对较低。

Feb, 2024

大型语言模型的新兴能力是利用少量示例来学习在新领域和任务中执行的能力，本文通过针对专门的培训目标进行微调展示了一个更小的模型可以被训练用于执行上下文学习，在神经机器翻译的领域适应任务上进行了示例。通过这种上下文学习的能力，模型可以利用相关的少量示例将其输出适应到该领域。我们将这种域自适应的质量与传统的监督技术以及基于 400 亿参数的大型语言模型的上下文学习进行了比较。我们的方法允许对多个领域进行高效的批处理推理，并在翻译质量和即时适应率方面优于现有技术基线，也就是在展示一次示例后重新生成特定术语的能力。

Sep, 2023

评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

May, 2021