ICLRJun, 2021

如何训练你的 MAML 在少样本分类领域表现卓越

PDF
TL;DR在 Few-shot classification 这个问题上，我们探究了如何训练 MAML 表现得更美好，发现 MAML 需要大量的梯度步骤才能适应少样本分类，敏感于试验时分类标签的赋值，本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在 MiniImageNet 和 TieriImageNet 等基准数据集上表现良好，并与许多最新的少样本分类算法不相上下，而不损失 MAML 的简单性。
model-agnostic meta-learningfew-shot classificationgradient stepspermutation-invariantunicorn-maml
发现论文，激发创造
  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • HyperMAML：用超级网络进行深度模型的少样本适应

    提出了 HyperMAML，这是 Model-Agnostic Meta-Learning 的一种新型泛化方法，其训练的更新过程也是模型的一部分，通过可训练的 Hypernetwork 来更新权重，超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。

    May, 2022

  • 复用预训练模型进行鲁棒的领域外少样本学习

    本文提出一种在没有访问元培训练集的情况下，利用预训练 MAML 检查点来解决新的 few-shot 分类任务的方法，通过结合对抗训练和基于不确定性的步长适应，以及对算法进行改进，在 SGD 和 Adam 优化器上，在同一领域和跨领域基准测试中优于 “基准” MAML，并表现出对基础步长的选择具有更好的鲁棒性。

    Mar, 2021

  • 基于超网络的贝叶斯 MAML 方法

    本文提出了一种名为 BayesianHyperShot 的新方法，它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用，可更好地收敛于经典学习评估，并通过贝叶斯方法提高了适用性，并使用超网络实现高灵活性的任务自适应。

    Oct, 2022

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021

  • 一个嵌套双层优化框架用于鲁棒性少样本学习

    本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。

    Nov, 2020

  • 使用任务自适应损失函数的元学习用于小样本学习

    模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

    Oct, 2021

  • 利用基类信息增强元训练的少样本学习

    基于元学习框架，我们提出了一种端到端训练范式，通过整个训练集的信息与元学习训练范式相互增强，以解决少样本学习中训练成本高和性能欠佳的问题。而且，我们的框架是无模型偏见的，相比基准系统提升了约 1% 的性能。

    Mar, 2024

  • 面向 Few-shot Learning 的任务无关元学习

    本文提出了一种基于熵和不等式优化的任务不可知元学习算法，可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题，并在少量分类和强化学习任务中表现优异。

    May, 2018