隐式梯度元学习

Sep, 2019

Meta-Learning with Implicit Gradients

Aravind Rajeswaran, Chelsea Finn, Sham Kakade, Sergey Levine

TL;DR本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

Abstract

A core capability of intelligent systems is the ability to quickly learn new tasks by drawing on prior experience. Gradient (or optimization) based meta-learning has recently emerged as an effective approach for few-shot learning. In this formulation, meta-parameters are learned in the outer loop, while task-specific models are learned in the inner-loop, by

few-shot learning gradient-based meta-learning implicit differentiation inner loop optimization image recognition

发现论文，激发创造

可扩展贝叶斯元学习通过广义隐式梯度

本论文提出了一种新的隐式贝叶斯元学习 (iBaML) 方法，通过交叉造用隐式微分的优点来控制常规显式梯度下降算法的可扩展性问题，并且这个方法可以扩展学习平均值，量化相关的不确定性，有效地解决了内部优化轨迹带来的设计复杂度限制。作者通过精确的误差界限和大量的数值测试来验证该方法。

Mar, 2023

通过共享梯度加速元学习

通过内部循环正则化机制，共享梯度信息并根据元学习参数进行贡献缩放，实现了渐进共享的元学习，从而有效地加速元训练过程，提高内部循环学习速率。

Dec, 2023

负学习率元学习

通过计算 MAML 应用于混合线性回归和非线性回归中的测试损失得出结论，表明最优的学习率为负数，这样做将进一步提高性能，帮助澄清掌握任务分布时应该使用何种元学习方法。

Feb, 2021

在线元学习

该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

Feb, 2019

无需记忆的元学习

通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

Dec, 2019

梯度增强的合作式元学习

CML 是一种合作元学习框架，它通过向模型梯度中注入可学习的噪声进行模型泛化，而且引入无内部更新但有外部循环更新的合作学习者来增强梯度以获得更好的元初始化参数。CML 适用于梯度为基础的元学习方法，在少样本回归、少样本图像分类和少样本节点分类任务中表现出更好的性能。

Jun, 2024

MetaDiff: 基于条件扩散的元学习用于少样本学习

通过将极大化模型的学习能力赋予于少样本学习，即仅通过少量样本快速学习，是人工智能的一个核心挑战。本文提出了一种基于扩散模型的元学习算法 MetaDiff，通过将渐变下降优化器建模为扩散模型，并以去噪的方式对模型权重的优化过程进行建模，从而实现了高效的训练，大大减轻了内部路径的内存负担和梯度消失的风险，在少样本学习任务中优于现有的基于渐变的元学习算法家族。

Jul, 2023

基于特定任务适应的元学习在部分参数上的收敛

该论文研究了基于内部循环损失的几何性质如何影响 ANIL 算法的收敛速度和计算复杂性。研究表明，ANIL 对于强凸内环损失的收敛速度随着内环梯度下降步数的增加而加快，而对于非凸内环损失则会随着 N 的增加而减慢。并且，对于标准的几个元学习基准，我们进行了实验以验证我们的理论发现。

Jun, 2020

快速学习还是特征重用？探讨 MAML 的有效性

利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。

Sep, 2019

基于层次贝叶斯的梯度元学习重建

本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

Jan, 2018