本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题，将其转化为文本对相关性评估任务，使用 prompting 模型作为相关性度量，取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。
Jun, 2023
评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。
May, 2021
LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。
Dec, 2020
本研究提出了一种使用多重提示架构和度量学习方法来解决 few-shot named entity recognition 中标注语义缺陷的问题，并在 18 个场景中实现了新的最先进结果，平均相对增益为 8.84％，最大相对增益为 34.51％。
Nov, 2022
本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。
Apr, 2022
本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。
本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。
Oct, 2021
本研究利用输入提示文本来增强 NLP 模型的几发学习能力，并针对使用示例作为提示进一步探究，提出了 PERO 方法，并表明适当排列示例是关键。通过该方法，只需少于十个示例即可实现有效的泛化，且学习到的提示方式能够揭示出对情感分类和自然语言推理具有竞争力的新想法，并能够适用于事实检索任务。
Jun, 2021
提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。
Oct, 2022
在利用预先训练的视觉 - 语言模型进行少样本调整以应对下游任务方面取得显著进展的同时，我们的详细实证研究突出了少样本学习结果在训练样本的精心选择上具有显著的依赖性 —— 这是以前的研究忽视了的一个方面。本研究深入探讨了更有效的少样本训练样本选择策略的制定，与依赖随机抽样不同，以增强现有的少样本提示学习方法的潜力。为了实现这一目标，我们评估了各种主动学习技术（如熵和置信度边界）在少样本训练环境中进行实例选择的有效性。此外，我们引入了两种创新的选择方法 —— 代表性（REPRE）和高斯蒙特卡洛（Montecarlo），旨在为与预训练的视觉 - 语言模型相关的标注主动定位信息丰富的样本。我们的研究结果表明，REPRE 和 Montecarlo 在少样本训练场景中显著优于随机选择和基于主动学习的策略。该研究还强调了这些实例选择方法的模型无关性，为广泛的少样本训练方法提供了灵活的增强。
May, 2024