Aug, 2019

关于基于梯度的模型无关元学习算法的收敛理论

PDF
TL;DR本文研究了一类基于梯度的元学习方法的收敛性，探讨了它们在非凸损失函数下的最佳可达精度和整体复杂度。我们提出了一种名为 Hessian-Free MAML 的新变体算法，为该算法提供了理论保证，并且解答了这些算法在任务和数据集上学习率和批量大小的选择问题。
gradient-based meta-learningnonconvex loss functionstheoretical guaranteeslearning ratehessian-free maml
发现论文，激发创造
  • 多步模型无关元学习的理论收敛性

    该论文提出了一个新的理论框架，以提供关于 MAML 算法在两种实际感兴趣的目标函数（重新采样情况和有限和情况）下收敛性的保证，并表征了在非凸情况下实现多步 MAML 的计算复杂度和收敛速率，建议内部阶段步长应选择与内部阶段步数 N 成反比来保证 N 步 MAML 有保证的收敛性，从技术上讲，它们开发了处理多步 MAML 的元梯度嵌套结构的新技术。

    Feb, 2020

  • 关于模型无关元学习的全局最优性

    通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。

    Jun, 2020

  • 模型无关元学习算法的泛化：循环和未见任务

    本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。

    Feb, 2021

  • ES-MAML: 简化无 Hessian 元学习

    提出了 ES-MAML 框架，基于进化策略（ES）解决了模型无关元学习（MAML）问题，避免了使用随机策略进行反向传播估计二阶导数时的问题，并可以处理新类型的非光滑适应算子，并且与现有方法竞争力强，经常在查询较少情况下产生更好的自适应。

    Sep, 2019

  • 连续时间限制下的元学习

    本文研究了模型无关元学习（Model-Agnostic Meta-Learning, MAML）运动动力学的普通微分方程（ODE），提出了一种新的 BI-MAML 训练算法，可以显著减少现有 MAML 训练方法的计算负担，并通过理论分析和实验验证证明其优越性。

    Jun, 2020

  • 任务鲁棒的模型无关元学习

    本文提出了一种新的元学习方法，通过解决 min-max 问题以最小化观测到的元训练任务的最大损失，可以实现任务健壮性，从而在元训练和元测试之间的任务分布变化时，都能表现出色。

    Feb, 2020

  • 梯度为基础的 MAML 在 LQR 中的收敛性

    本研究探讨了 Model-agnostic Meta-learning (MAML) 在线性系统二次最优控制（LQR）中的局部收敛特性，同时保持动态系统的稳定性。通过简单的数值结果展示了 MAML 在 LQR 任务中的收敛性。

    Sep, 2023

  • 关于一阶元学习算法

    本文主要研究元学习问题，即在任务分布情况下，如何获得在新的任务中表现良好、能够快速学习的智能体；分析了一系列算法，包括优化一阶导数的 MAML 和 Reptile 算法，对他们在少样本分类任务中表现良好的结果进行扩展和理论分析。

    Mar, 2018

  • Alpha MAML：自适应模型无关元学习

    本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

    May, 2019

  • MAML 是分类任务中的噪声对比学习器

    本文提出了对 MAML 工作机制的新视角，将其类比为使用有监督对比目标的元学习器，并提出 zeroing trick 技术来缓解其干扰项，实验证明该技术提升了 MAML 在任务特定学习中的性能。

    Jun, 2021