Feb, 2020

多步模型无关元学习的理论收敛性

PDF
TL;DR该论文提出了一个新的理论框架，以提供关于 MAML 算法在两种实际感兴趣的目标函数（重新采样情况和有限和情况）下收敛性的保证，并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性，从技术上讲，它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。
mamlmeta-learningconvergenceobjective functionscomputational complexity
发现论文，激发创造
  • 关于基于梯度的模型无关元学习算法的收敛理论

    本文研究了一类基于梯度的元学习方法的收敛性，探讨了它们在非凸损失函数下的最佳可达精度和整体复杂度。我们提出了一种名为 Hessian-Free MAML 的新变体算法，为该算法提供了理论保证，并且解答了这些算法在任务和数据集上学习率和批量大小的选择问题。

    Aug, 2019

  • 关于模型无关元学习的全局最优性

    通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。

    Jun, 2020

  • 模型无关元学习算法的泛化：循环和未见任务

    本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

    Feb, 2021

  • 任务鲁棒的模型无关元学习

    本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。

    Feb, 2020

  • 如何训练你的 MAML

    本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

    Oct, 2018

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • HyperMAML：用超级网络进行深度模型的少样本适应

    提出了 HyperMAML，这是 Model-Agnostic Meta-Learning 的一种新型泛化方法，其训练的更新过程也是模型的一部分，通过可训练的 Hypernetwork 来更新权重，超越了 MAML 并在标准 Few-Shot 学习基准测试中表现出色。

    May, 2022

  • 一个嵌套双层优化框架用于鲁棒性少样本学习

    本文提出了一种新颖的元学习算法 NestedMAML，该算法可以学习分配给每个训练任务或实例的权重，并在元训练阶段应用，从而有效地缓解了不想要的任务或实例的影响，比现有的元学习算法都更鲁棒。

    Nov, 2020

  • 连续时间限制下的元学习

    本文研究了模型无关元学习（Model-Agnostic Meta-Learning, MAML）运动动力学的普通微分方程（ODE），提出了一种新的 BI-MAML 训练算法，可以显著减少现有 MAML 训练方法的计算负担，并通过理论分析和实验验证证明其优越性。

    Jun, 2020

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021