利用演示检索进行元训练，以实现高效的少样本学习

ACLJun, 2023

利用演示检索进行元训练，以实现高效的少样本学习

Meta-training with Demonstration Retrieval for Efficient Few-shot Learning

Aaron Mueller, Kanika Narang, Lambert Mathias, Qifan Wang, Hamed Firooz

TL;DR本研究提出了一种基于演示检索的元训练方法，使用密集的段落检索器检索出与示例相似的标注演示，用于元训练，以训练参数高效的模型，从而在更广泛的 NLP 任务中实现更好的泛化性能。

Abstract

Large language models show impressive results on few-shot nlp tasks. However, these models are memory and computation-intensive. meta-training allows one to leverage smaller models for few-shot generalization in

few-shot learning meta-training demonstration retrieval parameter-efficient models nlp tasks

发现论文，激发创造

检索增强的元学习用于低资源文本分类

基于检索增强元学习 (RAML) 的元学习方法，通过从外部语料库中检索非参数性知识以进行推理，以解决元学习场景中缺乏多样化训练数据导致的泛化性能差的问题，并在低资源文本分类任务中显著优于当前最优模型。

Sep, 2023

基于元学习的自然语言转结构化查询

本文提出一种基于元学习及相关性函数的 few-shot 元学习方法，将原先监督学习的每个样本视为一个独立的伪任务，经过实验验证，该方法在 WikiSQL 数据集上取得较好的成果。

Mar, 2018

利用 QA-Memory 增强预训练语言模型以进行开放域问答

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Aug, 2019

Promptagator: 从 8 个示例实现少样本密集检索

本文提出了基于大语言模型的 Few-shot Dense Retrieval 任务中 Prompt-based Query Generation for Retriever (Promptagator) 方法，利用少量任务单独的知识生成具有任务特定的检索器并使用 LLM 促进扩展性，与传统基于自然问题或 MS MARCO 的训练方式相比，使用 8 个或更少的样本提示 LLM 生成的双编码器可以显著提高检索性能达 1.2 个 nDCG 以上。

Sep, 2022

自我监督元学习用于少样本自然语言分类任务

本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

基于语言模型检索的多语言少样本学习

本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

Jun, 2023

少样本自然语言处理的元学习综述

本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

Jul, 2020

检索、编程、重复：通过备用元学习实现复杂知识库问答

本文提出了一种利用元学习和弱监督自动学习检索模型的程序员 - 解释器方法，在复杂问题回答方面实现了最先进的性能。

Oct, 2020

无监督表示学习辅助半监督元学习

通过一次性无监督元学习方法，利用增强样本作为查询集来学习训练样本的潜在表示，并通过温度缩放的交叉熵损失在元学习的内循环中防止过拟合。该方法是模型无关的，能够提高任何元学习模型的准确性，并通过在初始化和快速调适阶段采用目标有监督元学习的方式，在 Omniglot 和 mini-Imagenet 数据集上展示了该方法的性能。此外，具备该初始化的元学习模型可以在较少的训练样本下达到令人满意的准确性。

Oct, 2023