本文提出了一种新的元学习框架,集成对抗域适应网络,旨在提高模型的适应能力并为新类别生成高质量的文本嵌入。在四个基准数据集上进行了大量实验,结果表明我们的方法在所有数据集上都明显优于现有技术,特别是在 20 个新闻组数据集上,1-shot 和 5-shot 分类的准确性从 52.1%提高到 59.6%和从 68.3%提高到 77.8%。
Jul, 2021
使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题,并在情感分类数据集上表现出最先进的性能,因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。
Aug, 2019
该论文介绍了元学习在深度学习中的应用及其近期发展,涵盖度量、记忆、基于学习等方法,并探讨了当前的挑战和未来的研究方向。
Mar, 2023
本文提出了两种简单而有效的方法通过无标签查询样本来估计新颖类别的分布,从而避免了负面转移的问题。经过多个数据集的实验,该方法明显优于现有的先进方法。
本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布,通过这种方法,将 transformer 模型的预训练与 meta-learning 相结合,证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。
Sep, 2020
提出了一种自适应度量学习方法,该方法能够从元训练任务中获得一组评估度量,并自动确定最佳加权组合,以捕捉自然语言领域中新的 few-shot 任务的复杂任务变化。在真实情感分析和对话意图分类数据集上进行了广泛的定量评估,结果表明所提出的方法在预测准确性方面表现优于现有的 few shot learning 算法。
May, 2018
通过研究 meta-learning 和鲁棒性技术在基准文本和医学数据上的应用,我们发现 meta-learning 是基于文本的数据的合适框架,具有更好的数据效率和与 few-shot 语言模型可比的性能,并且可以成功地应用于医疗笔记数据,同时与 DRO 结合的 meta-learning 模型还可以提高疾病编码的最坏情况损失。
Dec, 2022
本文提出了一种 Meta-Learning Siamese Network 来解决 few-shot learning 中的三个主要问题(即原型向量计算中忽略采样的随机性,忽略标记样本的重要性和纯随机构建元任务)。与现有模型相比,Meta-SN 利用外部知识来编码原型向量,并提出了一种新的抽样策略来构建元任务,同时在六个基准数据集上展示了其明显的优越性。
Feb, 2023
本文提出了一个基于元学习的少样本词义消歧框架,用于从极少数标记实例中学习消除未见过单词的歧义。与传统的 Meta-learning 测试方式不同,本研究还探讨了在应对高度不平衡的多类别问题时,几个流行元学习方法在 WSD 任务中的优缺点。
Apr, 2020
本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力,从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络,其能够利用外部知识生成关系网络参数,并将这些参数应用于多个任务中,以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。