低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

AAAIAug, 2019

低资源自然语言处理遇上无监督语言模型：元预训练再元学习用于少样本文本分类

When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification

PDF

Shumin Deng, Ningyu Zhang, Zhanlin Sun, Jiaoyan Chen, Huajun Chen

TL;DR使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题，并在情感分类数据集上表现出最先进的性能，因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。

Abstract

text classification tends to be difficult when data are deficient or when it is required to adapt to unseen classes. In such challenging scenarios, recent studies have often used meta-learning to simulate the few

text classification meta-learning unsupervised language models few-shot learning nlp tasks

发现论文，激发创造

自我监督元学习用于少样本自然语言分类任务

本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

Sep, 2020

少样本自然语言处理的元学习综述

本文旨在为小样本自然语言处理元学习领域提供更清晰的定义、进展总结和一些常见的数据集，通过在具有丰富注释的各种任务上训练模型，实现在只有少量标记示例的情况下解决新任务的目标。

Jul, 2020

Few-Shot 医学文本分类的元学习

通过研究 meta-learning 和鲁棒性技术在基准文本和医学数据上的应用，我们发现 meta-learning 是基于文本的数据的合适框架，具有更好的数据效率和与 few-shot 语言模型可比的性能，并且可以成功地应用于医疗笔记数据，同时与 DRO 结合的 meta-learning 模型还可以提高疾病编码的最坏情况损失。

Dec, 2022

跨多种自然语言分类任务学习少样本学习

LEOPARD 是一种基于元学习的方法，使用少量标记的数据可优化跨任务进行学习，适用于 NLP 分类任务中的不同类数，并表现出比自监督预训练或多任务训练更好的泛化能力。

Nov, 2019

FILM: 少样本图像分类如何从预训练语言模型中受益？

本文提出了一种基于对比学习的新的 few-shot learning 框架，通过预训练语言模型解决视觉特征与文本嵌入之间的对齐问题，并引入度量模块来实现余弦相似度的泛化，通过双层优化结构中的 MAML 训练模型以提高可迁移性，此外，在多个基准测试上进行了大量实验证明我们方法的有效性。

Jul, 2023

多语言和跨语言文档分类：元学习方法

该论文提出了一种元学习方法，可以在有限资源的情况下进行文档分类，并在少量标记数据的情况下取得了较好的效果，涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整，提出了一种简单且有效的调整方式，并在多语言上取得了新的最佳表现。

Jan, 2021

元学习实现零样本跨语言迁移

研究多语言应用中，如何应用元学习来提高模型性能，通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中，元学习对于 15 种语言始终有效。

Mar, 2020

自适应自我训练用于小样本神经序列标注

该研究提出了通过自训练和元学习技术解决多个自然语言处理任务中低标注数据带来的挑战的方法，并在六个基准数据集上实验证明了其在标注数据较少的情况下具有良好的效果。

Oct, 2020

探索元学习算法在低资源自然语言理解任务中的应用

本研究探讨了基于元学习算法的模型无关元学习算法（MAML）及其变体，以解决低资源自然语言理解任务中现有方法表现不佳的问题，并在 GLUE 基准测试中验证了该方法的有效性。

Aug, 2019

Few-shot 学习的元学习方法：最新进展综述

该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

Mar, 2023