检索增强的元学习用于低资源文本分类
该文介绍了一种新的文本分类方法,利用元学习的方法来进行更好的自然语言理解,该方法综合运用MAML和attention机制进行任务不可知表示学习和任务特定的注意力调整,可以在数据稀缺的情况下更好地进行单标签和多标签分类任务。
Jun, 2018
本研究探讨了基于元学习算法的模型无关元学习算法(MAML)及其变体,以解决低资源自然语言理解任务中现有方法表现不佳的问题,并在GLUE基准测试中验证了该方法的有效性。
Aug, 2019
该论文提出了一种元学习方法,可以在有限资源的情况下进行文档分类,并在少量标记数据的情况下取得了较好的效果,涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整,提出了一种简单且有效的调整方式,并在多语言上取得了新的最佳表现。
Jan, 2021
文章提出了一种记忆模仿元学习方法,利用任务特定的记忆模块存储支持集信息,并构建模仿模块来强制查询集模仿存储在内存中的某些代表性支持集样本的行为,以提高模型对支持集的利用,进而在文本分类和生成任务中取得了优异的性能。
Mar, 2022
提出了一种基于自适应元学习和梯度相似性的方法 AMGS,通过获得样本的潜在语义表示和构建自监督辅助任务以及利用自适应元学习者对基学习者在外循环中获得梯度的约束,以解决少样本学习场景下优化方法的过拟合问题。实验结果表明,与基于优化方法的元学习方法相比,该方法能够提高 few-shot 文本分类的性能。
Sep, 2022
本文提出了一种Meta-Learning Siamese Network来解决few-shot learning中的三个主要问题(即原型向量计算中忽略采样的随机性,忽略标记样本的重要性和纯随机构建元任务)。与现有模型相比,Meta-SN利用外部知识来编码原型向量,并提出了一种新的抽样策略来构建元任务,同时在六个基准数据集上展示了其明显的优越性。
Feb, 2023
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法,全面调查了元学习在领域泛化方面的贡献,详细介绍了该领域的基础知识,并提供了关于未来研究方向的实践见解和深入讨论。
Apr, 2024
本研究解决了现有文本分类模型在新挑战性未见领域的泛化能力不足这一问题。提出了一种多源元学习框架,通过模拟模型对未见领域的泛化过程,并引入记忆机制和“陪审团”机制,以提取域相关特征和学习足够的域不变特征。实验结果表明,该框架显著提高了模型在未见领域的泛化能力,并在多源文本分类数据集上超越了最先进的方法。
Sep, 2024
本研究解决了现有元学习方法在少样本文本分类中准确提取类别原型的难题,主要由于类内差异大和类间差异小。提出了一种新方法,通过构建任务自适应度量空间来减少类内差异并增强类间差异,同时利用最优传输技术估计类别原型,显著提升了分类精度。实验结果表明,该方法在所有基准数据集上均优于最新模型。
Oct, 2024