优化元参数（即超参数）对于训练效率和模型性能至关重要，本文介绍了 MetaOptimize 框架，它通过动态调整元参数（特别是学习速率）来优化训练过程，通过折现未来损失的累积和来最小化后悔，通过适应多种优化算法和引入低复杂度变体，实现与手工设计的学习率计划相媲美的性能，在各种机器学习应用中展现竞争力。

Feb, 2024

本文提出了一种元学习策略，通过最小化后悔界来学习在线学习的初始化和步长，以及 exponentially weighted aggregation 的先验分布或学习率，并进行了后悔分析，以确定元学习是否确实改进了每个单独任务的学习效果。

Feb, 2021

本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

Feb, 2019

本文从短时间视角出发，分析元优化算法对学习率设置存在的短视偏差问题，并在标准基准数据集上运行元优化实验，并通过比较不同时间视角下的最优调度进行分析，旨在解决元优化算法在实际神经网络训练过程中表现不佳的问题。

Mar, 2018

本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人心的初步实验结果.

Dec, 2017

本文研究了不同的向量步长自适应方法，旨在解决在线、连续预测问题中的非平稳性，提出了一种适用于更广泛算法的基于元梯度下降的增量式自适应步长算法 AdaGain，并通过对比发现这种元梯度下降方法在非平稳预测问题中具有优势。

Jul, 2019

研究了如何针对来自未知元分布的任务类别推断出学习算法，并提出了学习正半定矩阵参数化的岭回归算法，通过应用随机策略来降低岭回归引入的经验错误，以实现在线学习，提高模型性能和泛化性能。

Mar, 2018

在这篇论文中，我们展示了常用的算法（如 RMSProp 和 Adam）在调整步长向量时忽略了其适应过程对整体目标函数的影响，并通过简单问题的实验显示，与 RMSProp 和 Adam 相比，IDBD 算法可以持续改进步长向量。我们讨论了两种方法的差异和各自的限制，并建议将两种方法结合起来以提高神经网络在持续学习中的性能。

Jan, 2024

通过理论和实验证明，Normalized Stochastic Gradient Descent with Momentum 算法在没有先验知识的情况下可以实现（接近）最优复杂度，但复杂度中引入了一个依赖于 (L_1) 的指数项，这是不可避免的。同时，在确定性设置下，可以通过使用 Gradient Descent with a Backtracking Line Search 来抵消指数因子。这是首个在广义平滑条件下提出的无需参数设置的收敛结果。

Nov, 2023

本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

Jun, 2019