Oct, 2020

自适应超参数的元学习

PDF
TL;DR本文提出了一种自适应的方法 (ALFA)，在元学习 (MAML) 的框架下增强了快速适应过程，使用该方法可以从随机初始化中实现快速适应，且超越了 MAML 的表现，同时实验结果证明了超参数的自适应学习是近期少样本学习方法中同样重要的组成部分。
mamltask-conditioned methodologyinner-loop optimizationhyperparametersalfa
发现论文，激发创造
  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • HyperMAML：用超级网络进行深度模型的少样本适应

    提出了 HyperMAML，这是 Model-Agnostic Meta-Learning 的一种新型泛化方法，其训练的更新过程也是模型的一部分，通过可训练的 Hypernetwork 来更新权重，超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。

    May, 2022

  • 模型无关元学习中的快速对抗性鲁棒性适应

    提出了一种基于元学习的小样本学习框架，通过在元模型更新阶段引入鲁棒性正则化来提高模型的对抗鲁棒性，在此基础上，提出了一个通用的鲁棒性正则化的元学习框架，可以使用不带标签的数据增强和对抗性攻击技术来实现有效的鲁棒性训练。此外，引入辅助对比学习任务进一步提高了模型的鲁棒性。

    Feb, 2021

  • 使用任务自适应损失函数的元学习用于小样本学习

    模型无关元学习（MAML）和其变体往往采用简单损失函数进行学习，为了更好地泛化，我们提出了一种新的元学习框架 MeTAL，其中损失函数适应于每个任务。

    Oct, 2021

  • 快速学习还是特征重用？探讨 MAML 的有效性

    利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。

    Sep, 2019

  • 负学习率元学习

    通过计算 MAML 应用于混合线性回归和非线性回归中的测试损失得出结论，表明最优的学习率为负数，这样做将进一步提高性能，帮助澄清掌握任务分布时应该使用何种元学习方法。

    Feb, 2021

  • 一个嵌套双层优化框架用于鲁棒性少样本学习

    本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。

    Nov, 2020

  • La-MAML: 前瞻元学习用于连续学习

    本文提出了 Look-ahead MAML 算法及其在在线连续学习中的应用，通过调整元学习更新中每个参数的学习率实现更灵活、高效的控制灾难性遗忘，并在实际视觉分类任务中取得了优异的性能。

    Jul, 2020

  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • 在线元学习

    该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

    Feb, 2019