EMNLPApr, 2021

跨强度训练挑战：自然语言处理中的少样本学习和多任务泛化

PDF
TL;DR研究表明，通过利用学习先前任务时获取的知识，仅使用少量示例即可有效地学习新语言任务。本文探讨了跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同自然语言处理任务的更好的少样本学习器。我们引入了 CrossFit 问题设置来研究跨任务泛化能力，该设置标准化了已知 / 未知任务划分、不同学习阶段的数据访问和评估协议。通过我们的研究发现，使用一组已知任务的上游学习阶段可以提高对未知任务的少样本学习能力，同时选择好上游学习任务可以显著影响在未知任务上的少样本性能，并引发对任务相似性和可转移性的进一步研究。我们还提出了包括 160 个不同少样本自然语言处理任务的 NLP Few-shot Gym
few-shot learningnlp taskscross-task generalizationupstream learningtask similarity
发现论文，激发创造
  • 不断学习，快速泛化：少样本学习的终身知识积累

    该研究提出了一个新的学习框架 CLIF，可以在不断更新的多个 NLP 任务中提高模型的泛化能力，同时保留早期任务的表现，作者使用了多种方法对该框架进行了评估，并提出了一种新的适配器生成方法。

    Apr, 2021

  • 通过自然语言众包指导实现跨任务的推广

    通过理解人类可读的指令来学习新任务的挑战一直是人工智能领域的难题，本文基于自然指令数据集通过使用生成式预训练语言模型对任务特定指令进行编码和输出生成，研究横向任务泛化并发现模型在使用指令时对于未见过的任务泛化更好，但与认为上限还存在显著改进空间。

    Apr, 2021

  • CrossCodeBench: 源代码模型的跨任务泛化基准测试

    本文提出了一个包括 216 个现有的与编程有关的任务，并以任务描述和指南等元信息进行注释的大规模基准，以评估模型的不同任务之间的泛化能力，展示出从任务指南进行的少量样本学习和学习方式带来的显著提升。

    Feb, 2023

  • 少样本自然语言处理的元学习综述

    本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

    Jul, 2020

  • Grad2Task: 使用梯度表示任务的改进少样本文本分类

    本文提出了一种基于条件神经过程的方法，用于 few-shot 文本分类，通过从其他各种丰富注释的任务中迁移学习，利用梯度信息从基础模型中表示每个任务，并训练一个调整网络来调整一个文本分类器，受任务表示的条件约束，实验结果表明，这种方法在多个 few-shot 任务上的表现优于传统的 fine-tuning、序列迁移学习和最先进的元学习方法。

    Jan, 2022

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 基于大型语言模型的高效少样本临床任务适应

    通过部分冻结的简单微调变体和上下文化标签，提出了一种在有限样本大小下超越传统微调方法的方法，从而显著提高了医学图像的语义嵌入区分度，使得在 1-shot 设置下与常用的 one-hot 标签和其他语义监督方法相比性能提高了 3%-5%。

    Dec, 2023

  • 跨多种自然语言分类任务学习少样本学习

    LEOPARD 是一种基于元学习的方法，使用少量标记的数据可优化跨任务进行学习，适用于 NLP 分类任务中的不同类数，并表现出比自监督预训练或多任务训练更好的泛化能力。

    Nov, 2019

  • 少样本情况下的联邦自然语言处理

    本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

    Dec, 2022

  • Few-shot 适应在不确定数据中的应用

    该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。

    Aug, 2022