EMNLPSep, 2020

自我监督元学习用于少样本自然语言分类任务

PDF
TL;DR本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。
self-supervised pre-trainingtransformer modelsmeta-learningfew-shot generalizationnlp tasks
发现论文，激发创造
  • 低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

    使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

    Aug, 2019

  • 跨多种自然语言分类任务学习少样本学习

    LEOPARD 是一种基于元学习的方法，使用少量标记的数据可优化跨任务进行学习，适用于 NLP 分类任务中的不同类数，并表现出比自监督预训练或多任务训练更好的泛化能力。

    Nov, 2019

  • 少样本自然语言处理的元学习综述

    本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

    Jul, 2020

  • 自然语言处理元学习中多样化自监督任务的分布

    本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。

    Nov, 2021

  • 自适应自我训练用于小样本神经序列标注

    该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

    Oct, 2020

  • 自监督原型转移学习用于少样本分类

    本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

    Jun, 2020

  • 通过自我监督训练改进上下文少样本学习

    本文提出一种在预训练与下游少样本学习之间使用自监督训练来教授模型执行上下文的少量样本学习，并在两个基准测试中提出和评估了四个自监督目标。实验结果表明，中间自监督阶段产生的模型优于强基准测试。消融实验表明影响下游性能的因素主要为训练数据量和自监督目标的多样性。定性分析表明，经过自监督训练的模型更擅长满足任务要求。

    May, 2022

  • 半监督少样本分类的元学习

    本研究致力于发展一种在少量标记数据情况下对未标记数据进行分类的方法并提出一种新型 Prototypical Networks 和一种使用未标记数据的元学习算法来解实际问题，经过对 Omniglot、miniImageNet 和 ImageNet 进行实验，验证了这些算法可以使预测结果得到显著改进。

    Mar, 2018

  • 自监督增强少样本学习的监督

    本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

    Jun, 2019

  • 通过少样本任务的特征重新审视无监督元学习

    本篇论文提出了基于无监督元学习（UML）的通用嵌入向量生成方式用于 few-shot learning，并结合数据增强、半标准化相似度、混淆实例合成、任务相关嵌入变换等技术，取得了显著优于以前 UML 方法和甚至优于有监督方法的成果。

    Nov, 2020