ICLRSep, 2019

快速学习还是特征重用？探讨 MAML 的有效性

PDF
TL;DR利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。
发现论文，激发创造
  • 探究模型不可知元学习中的表示相似性

    本文通过应用神经科学中的一种良好的方法 - 表示相似性分析 (RSA) 来研究模型无关元学习中的模型表示。虽然一部分分析支持特征重用是主导因素的一般结果，但我们也揭示了对其结论的反驳。指出对接近输入层的层的相似性增加起源于学习任务本身而不是模型。此外，内部梯度步骤后的表示具有比元训练期间的变化更广泛的变化。

    May, 2021

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021

  • 基于特定任务适应的元学习在部分参数上的收敛

    该论文研究了基于内部循环损失的几何性质如何影响 ANIL 算法的收敛速度和计算复杂性。研究表明，ANIL 对于强凸内环损失的收敛速度随着内环梯度下降步数的增加而加快，而对于非凸内环损失则会随着 N 的增加而减慢。并且，对于标准的几个元学习基准，我们进行了实验以验证我们的理论发现。

    Jun, 2020

  • BOIL：面向少样本学习的表示变化

    本研究探讨了基于梯度的元学习算法 MAML 中的表征重用和表征改变对领域无关任务的 Few-shot 性能的影响，并提出了一种更新模型的方法 BOIL。BOIL 通过表征改变而非表征重用来提高模型性能，并在交叉域任务上显著优于 MAML。

    Aug, 2020

  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • MAML 和 ANL 能够证明地学习表示

    本文证明了两种常用的梯度基元学方法 MAML 和 ANIL 及其一阶近似能够在给定任务集合中学习共同的表示。具体地，在多任务线性表示学习设置中，它们能够以指数速率恢复实际表示。此外，本文揭示 MAML 和 ANIL 恢复底层表示的驱动力是它们适应了模型的最终层，并利用底层任务的多样性，提高所有感兴趣方向的表示能力。这是首个证明 MAML 和 / 或 ANIL 学习表现极佳表示并且严谨解释其原因的结果。

    Feb, 2022

  • 模型无关元学习中的快速对抗性鲁棒性适应

    提出了一种基于元学习的小样本学习框架，通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性，在此基础上，提出了一个通用的鲁棒性正则化的元学习框架，可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外，引入辅助对比学习任务进一步提高了模型的鲁棒性。

    Feb, 2021

  • 如何训练你的 MAML 在少样本分类领域表现卓越

    在 Few-shot classification 这个问题上，我们探究了如何训练 MAML 表现得更美好，发现 MAML 需要大量的梯度步骤才能适应少样本分类，敏感于试验时分类标签的赋值，本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在 MiniImageNet 和 TieriImageNet 等基准数据集上表现良好，并与许多最新的少样本分类算法不相上下，而不损失 MAML 的简单性。

    Jun, 2021

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019