本文从普适性的角度出发，比较递归模型与将梯度下降融入元学习者的最新方法的表达能力，并回答了梯度下降与深度表示是否具有近似任何学习算法的足够能力的问题。结果发现，基于梯度的元学习策略与递归模型相比具有更广泛的推广性。

Oct, 2017

本文介绍了一种利用MT-net进行梯度下降的元学习方法，并通过任务特异性学习实现梯度下降，从而在少样本分类和回归任务上实现了最先进的效果。

Jan, 2018

本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习-to-learn的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

Jun, 2019

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

该文总结了元学习（或学习-学习）领域的现状，旨在通过改进学习算法本身来解决深度学习中包括数据和计算瓶颈在内的传统挑战，并提出了一种更全面的元学习方法分类，并重点介绍了几个应用领域，如少样本学习和强化学习，并讨论了未来研究的未解决的问题和有前景的方向。

Apr, 2020

本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了MTL作为一阶方法可以代替计算代价高的二阶方法——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

本文探讨了梯度基础元学习和凸优化之间的联系，提出了Bootstrapped Meta-Gradients来捕捉元学习中的乐观性，并在单任务设置下证明了收敛速率。

Jan, 2023

通过内部循环正则化机制，共享梯度信息并根据元学习参数进行贡献缩放，实现了渐进共享的元学习，从而有效地加速元训练过程，提高内部循环学习速率。

Dec, 2023

利用从相关任务中提取的任务不变的先验知识，元学习是一种原则性的框架，能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而，简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制，从而引出一种通用的距离度量，能够捕捉和优化各种损失几何结构，从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。

Dec, 2023

本研究解决了优化算法在深度学习模型训练中适应性不足的问题，通过将“扭曲梯度下降”概念融入Adam优化器中，提出了一种新的优化策略。实验结果表明，该方法在不同数据集的适应性和优化性能上优于传统的Adam优化器。

Sep, 2024