自然语言处理元学习中多样化自监督任务的分布

EMNLPNov, 2021

自然语言处理元学习中多样化自监督任务的分布

Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP

Trapit Bansal, Karthick Gunasekaran, Tong Wang, Tsendsuren Munkhdalai, Andrew McCallum

TL;DR本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。

Abstract

meta-learning considers the problem of learning an efficient learning process that can leverage its past experience to accurately solve new tasks. However, the efficacy of meta-learning crucially depends on the d

meta-learning self-supervised tasks task distributions few-shot learning nlp

发现论文，激发创造

自我监督元学习用于少样本自然语言分类任务

本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

探索任务内部关系以改善元学习算法

通过选择多样的任务进行小批量处理，我们研究利用任务关联的外部知识来改善训练稳定性，进而减少训练中的噪音。

Dec, 2023

人类和机器中结构化任务分布的元学习

通过构建基于组合语法的结构化任务分布和相同统计复杂度但没有明确的基于规则的结构的 “空任务分布”，比较人类表现与标准元学习代理在两个任务分布中的表现，发现虽然统计复杂度相当，但人类在结构化任务分布中表现更好，而代理在空任务分布中表现更好，这表明控制任务分布的谨慎构建是理解元学习者获得的策略及其与人类的差异之一种有价值的方法。

Oct, 2020

元学习中多样性的影响

研究表明，任务分配在元学习者的表现中起着至关重要的作用。传统的智慧认为，任务多样性应该能够提高元学习的性能。然而，本文发现相反的证据。通过实验证据和理论证明，我们发现，将任务分配的多样性降低到一个子集水平，有时的效果甚至更好，并且将任务分配的多样性提高到更高水平的某些情形下，反而会阻碍模型的运作，并且不会带来预期的性能提升。

Jan, 2022

元学习式的无监督学习

该篇研究通过无监督元学习方法，利用自动构建的任务，从无标记数据获取表征，并应用于多种下游分类任务中，相对于其他四种无监督学习方法的表征学习，显示出更好的性能。

Oct, 2018

如何将数据分布在任务之间进行元学习？

采用线性回归模型，实现元学习训练中的最优数据集分配，研究表明针对不同任务的数据分配策略存在差异。

Mar, 2021

面向多模态任务分布的不确定性感知元学习

本文提出了 UnLiMiTD 方法，该方法是一种基于概率预测和基于贝叶斯推理的 meta-learning 方法，能够有效应对少量数据和多模态任务分布的不确定性，同时在 OoD 任务上也表现良好。

Oct, 2022

跨多种自然语言分类任务学习少样本学习

LEOPARD 是一种基于元学习的方法，使用少量标记的数据可优化跨任务进行学习，适用于 NLP 分类任务中的不同类数，并表现出比自监督预训练或多任务训练更好的泛化能力。

Nov, 2019

少样本自然语言处理的元学习综述

本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

Jul, 2020

大规模非静态任务分布下的低遗忘元学习

本文提出了一种半监督元学习方法（SETS）来解决不断演化的任务分布和大量的未标记数据存在时的元学习问题，并通过引入相互信息正则化来稳健地利用未标记外部分布数据以及采用最优传输正则化来在特征空间记住已学习的知识。在大规模非稳态半监督任务分布数据集上的测试中，实验证明了本文方法相对于相关强基线具有更好的鲁棒性。

Sep, 2022