ACLJun, 2021

异常语言的极小极大和 Neyman-Pearson 元学习

PDF
TL;DR为提高 MAML 方法在跨语言自然语言处理中的鲁棒性，本文提出了两个基于最小化最大风险和约束性分布分别的构思而实现的改进版本：Minimax MAML 和 Neyman-Pearson MAML。这两种标准均构成了可微分的两人博弈。研究者在 POSM 和 QA 两个自然语言处理任务中对比了它们与其他方法的效果表现。
发现论文，激发创造
  • 低资源神经机器翻译元学习

    本文利用元学习算法 (MAML) 扩展低资源 NMT 问题，并通过多语言高资源任务进行学习来适应低资源语言，并利用全局词汇表解决不同语言的输入输出错配， 在使用 18 种欧洲语言作为源任务和 5 种不同的语言作为目标任务的情况下，相对于基于多语言、迁移学习的方法，表明所提出的方法显著优于现有方法，并仅需少量训练示例即可获得具有竞争力的 NMT 系统。

    Aug, 2018

  • 关于模型无关元学习的全局最优性

    通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。

    Jun, 2020

  • 任务鲁棒的模型无关元学习

    本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。

    Feb, 2020

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021

  • 基于元学习的依存句法快速跨语言适配

    应用元学习技术，使用模型无关的元学习 (MAML) 在不同的语言上进行训练，实现快速适应新语言，有效提高了在少量数据集下，处理跨语言 NLP 问题时的效果。

    Apr, 2021

  • 低资源语音识别的改进元学习

    提出了一种基于元学习的新框架来改进之前的模型无关元学习（MAML）方法，该方法采用多步损失（MSL）来解决 MAML 方法的稳定性问题，其实验表明 MSL 显著提高了训练过程的稳定性和整个系统的准确性，优于各种语言的 MAML 低资源 ASR 系统的字符错误率和稳定性。

    May, 2022

  • 自然语言理解金融任务的模型无关元学习

    本文研究了模型无关元学习算法（MAML）在低资源金融自然语言理解（NLU）任务中的应用，证明了该算法可使模型快速适应低资源情境并获得最佳性能。

    Mar, 2023

  • 探索元学习算法在低资源自然语言理解任务中的应用

    本研究探讨了基于元学习算法的模型无关元学习算法（MAML）及其变体，以解决低资源自然语言理解任务中现有方法表现不佳的问题，并在 GLUE 基准测试中验证了该方法的有效性。

    Aug, 2019

  • 大边际神经语言模型

    我们提出了一种大间隔准则来训练神经语言模型，该模型的训练与最小化困惑度不同，通过增加语句的 “好” 和 “坏” 的间隔以进行特定任务的再评分，实验证明我们的方法在语音识别上可以减少 1.1 WER，在机器翻译中可以增加 1.0 BLEU。

    Aug, 2018

  • 一个嵌套双层优化框架用于鲁棒性少样本学习

    本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。

    Nov, 2020