面向低资源文本分类的知识感知元学习
本研究探讨了基于元学习算法的模型无关元学习算法(MAML)及其变体,以解决低资源自然语言理解任务中现有方法表现不佳的问题,并在 GLUE 基准测试中验证了该方法的有效性。
Aug, 2019
基于检索增强元学习 (RAML) 的元学习方法,通过从外部语料库中检索非参数性知识以进行推理,以解决元学习场景中缺乏多样化训练数据导致的泛化性能差的问题,并在低资源文本分类任务中显著优于当前最优模型。
Sep, 2023
本文探讨了在低资源环境下生成新场景的句子,提出了基于元学习的通用优化方法(Meta-NLG)来解决这个问题,并在大型多域数据集上进行了实验,表明 Meta-NLG 在各种低资源配置中显著优于其他训练过程,适应低资源情况极快且良好。
May, 2019
使用元学习和无监督语言模型解决数据不足或需要适应未知分类的文本分类难题,并在情感分类数据集上表现出最先进的性能,因此预训练可能是更多 NLP 任务的少样本学习的有前途的解决方案。
Aug, 2019
本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力,从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络,其能够利用外部知识生成关系网络参数,并将这些参数应用于多个任务中,以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。
Apr, 2020
该论文提出了一种元学习方法,可以在有限资源的情况下进行文档分类,并在少量标记数据的情况下取得了较好的效果,涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整,提出了一种简单且有效的调整方式,并在多语言上取得了新的最佳表现。
Jan, 2021
本文利用元学习算法 (MAML) 扩展低资源 NMT 问题,并通过多语言高资源任务进行学习来适应低资源语言,并利用全局词汇表解决不同语言的输入输出错配, 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下,相对于基于多语言、迁移学习的方法,表明所提出的方法显著优于现有方法,并仅需少量训练示例即可获得具有竞争力的 NMT 系统。
Aug, 2018
本文研究了在元学习范式下,少样本知识图谱推理的挑战和实际问题。提出了一种新的元学习框架,有效利用了本地图邻居和知识图谱中的推理路径等任务特定元信息。在两种少样本知识库补全基准测试中,我们展示了增强的任务特定元编码器比 MAML 更好,优于几个少样本学习基线模型。
Aug, 2019
本文提出了在多种语言中增强多语言知识图谱 (MLKGs) 的多语言语言模型 (MLLMs) 的轻量级适配器,以利用跨语言实体对齐和从 MLKGs 中获取事实,并在共同基准实验中展示了该增强模型在语言理解任务和知识图谱任务方面的性能优势。
Oct, 2022
本篇论文提出一种基于知识库组织方式的自动关系元学习(ARML)框架,它可以从先前完成的任务中自动抽取跨任务关系并构建元知识图,通过学习的元知识图解决任务异质性的挑战,同时提高模型可解释性。
Jan, 2020