本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

Sep, 2019

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

本研究将 MAML 泛化为能够被定义在函数空间内的元学习范式，并提出了在元模型的神经正切核引发的再生核希尔伯特空间（RKHS）中的首个元学习算法，该方法不再需要 MAML 框架中的子优化内循环适应，而是通过在 RKHS 中替换适应性并基于 NTK 理论解析解决适应性。大量实验表明，与相关的元学习算法相比，我们的模型在解决方案的效率和质量方面具有优势，并且比流行基线更具鲁棒性，可以更好地对抗对抗性攻击和分布适应性，这是我们提出方法的另一个有趣特点。

Feb, 2021

利用从相关任务中提取的任务不变的先验知识，元学习是一种原则性的框架，能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而，简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制，从而引出一种通用的距离度量，能够捕捉和优化各种损失几何结构，从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。

Dec, 2023

本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

Feb, 2019

提出了一种名为 MetaOptNet 的元学习方法，该方法使用线性预测器作为基本学习器来学习用于少样本学习的表示，并表现出了在一系列少样本识别基准测试中，在特征大小和性能之间提供更好的折衷方案，并取得了最先进的性能。

Apr, 2019

本文提出了一种模型无关的元学习算法，通过少量的训练样本，使用梯度下降算法来训练模型的参数，实现了对新学习任务的快速调整和学习，导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。

Mar, 2017

提出了 Geometry-Adaptive Preconditioned gradient descent (GAP) 算法，该算法利用 Riemannian metric 条件优化了 inner-loop 中的 preconditioner，使得其能更好地适应 task-specific 参数，同时在 few-shot learning 任务中表现出色，优于 MAML 和 PGD-MAML 家族算法。

Apr, 2023

本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

Jun, 2019

本文介绍了一种利用 MT-net 进行梯度下降的元学习方法，并通过任务特异性学习实现梯度下降，从而在少样本分类和回归任务上实现了最先进的效果。

Jan, 2018