NIPSJun, 2018

关于元学习在少样本文本分类中注意力的重要性

PDF
TL;DR该文介绍了一种新的文本分类方法，利用元学习的方法来进行更好的自然语言理解，该方法综合运用 MAML 和 attention 机制进行任务不可知表示学习和任务特定的注意力调整，可以在数据稀缺的情况下更好地进行单标签和多标签分类任务。
发现论文，激发创造
  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018

  • 通过任务感知调节的多模态模型无关元学习

    本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

    Oct, 2019

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • iTAML: 一种增量式任务无关元学习方法

    本文提出了一种基于元学习的新方法，通过学习一组不针对旧任务也不针对新任务的广义参数来避免深度神经网络的快速衰落问题，并在五个数据集上进行广泛实验，实现了明显的改进

    Mar, 2020

  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • 多模态模型无关元学习

    本文提出了一种基于多模态任务分布的 adaptative meta-learning 算法，并采用该算法来识别各种从多模态分布中采样的任务，以更快速地实现适应。结果表明该算法对于计算机视觉、强化学习和回归等多种任务领域都具有普适性。

    Dec, 2018

  • 自适应注意力的小样本分类

    本文提出一种新的 few-shot 学习方法，通过优化和快速适应查询样本的表示来改进 few-shot 分类，所提出的自适应注意力模型还能够解释分类模型所寻找的证据。在各种基准 few-shot 分类和精细识别数据集上，实验证明了所提出模型的分类结果达到了最先进水平。

    Aug, 2020

  • 使用任务自适应损失函数的元学习用于小样本学习

    模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

    Oct, 2021

  • 基于先验知识和注意力机制的元学习用于小样本学习

    本研究提出新的元学习方法，以注意机制和先验知识为主要组成，帮助元学习器更好地理解输入数据并集中于重点特征，在解决少样本学习和一些任务过度拟合问题方面表现优异。

    Dec, 2018

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021