Jun, 2020

基于特定任务适应的元学习在部分参数上的收敛

PDF
TL;DR该论文研究了基于内部循环损失的几何性质如何影响 ANIL 算法的收敛速度和计算复杂性。研究表明，ANIL 对于强凸内环损失的收敛速度随着内环梯度下降步数的增加而加快，而对于非凸内环损失则会随着 N 的增加而减慢。并且，对于标准的几个元学习基准，我们进行了实验以验证我们的理论发现。
model-agnostic meta-learninganilinner-loop loss geometriesconvergence ratecomputational complexity
发现论文，激发创造
  • 快速学习还是特征重用？探讨 MAML 的有效性

    利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。

    Sep, 2019

  • MAML 和 ANL 能够证明地学习表示

    本文证明了两种常用的梯度基元学方法 MAML 和 ANIL 及其一阶近似能够在给定任务集合中学习共同的表示。具体地，在多任务线性表示学习设置中，它们能够以指数速率恢复实际表示。此外，本文揭示 MAML 和 ANIL 恢复底层表示的驱动力是它们适应了模型的最终层，并利用底层任务的多样性，提高所有感兴趣方向的表示能力。这是首个证明 MAML 和 / 或 ANIL 学习表现极佳表示并且严谨解释其原因的结果。

    Feb, 2022

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 多步模型无关元学习的理论收敛性

    该论文提出了一个新的理论框架，以提供关于 MAML 算法在两种实际感兴趣的目标函数（重新采样情况和有限和情况）下收敛性的保证，并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性，从技术上讲，它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。

    Feb, 2020

  • 自适应超参数的元学习

    本文提出了一种自适应的方法 (ALFA)，在元学习 (MAML) 的框架下增强了快速适应过程，使用该方法可以从随机初始化中实现快速适应，且超越了 MAML 的表现，同时实验结果证明了超参数的自适应学习是近期少样本学习方法中同样重要的组成部分。

    Oct, 2020

  • 负学习率元学习

    通过计算 MAML 应用于混合线性回归和非线性回归中的测试损失得出结论，表明最优的学习率为负数，这样做将进一步提高性能，帮助澄清掌握任务分布时应该使用何种元学习方法。

    Feb, 2021

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • 模型无关元学习算法的泛化：循环和未见任务

    本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

    Feb, 2021

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021

  • 关于基于梯度的模型无关元学习算法的收敛理论

    本文研究了一类基于梯度的元学习方法的收敛性，探讨了它们在非凸损失函数下的最佳可达精度和整体复杂度。我们提出了一种名为 Hessian-Free MAML 的新变体算法，为该算法提供了理论保证，并且解答了这些算法在任务和数据集上学习率和批量大小的选择问题。

    Aug, 2019