本文介绍一种通用的方法来提高基于梯度的优化算法的收敛速度，通过将该方法应用到随机梯度下降、带有 Nesterov 动量的随机梯度下降和 Adam 等常用算法上，我们展示了该方法在一系列优化问题中的有效性，大大减少了对这些算法的初始学习率进行手动调整的需求；我们的方法通过使用与更新规则自身的学习率相关的梯度在优化过程中动态更新学习率，计算这个 “超梯度” 需要很少的额外计算，只需要将原始梯度的一个额外副本存储在内存中，并且只依靠于反向模式自动微分提供的内容。

Mar, 2017

本文提出了第一个在线连续超参数调整框架，即 CDT 框架，用于学习最佳超参数配置，可以在不预设候选超参数组合的情况下调整上下文 bandit 算法，其中使用 Zooming TS 算法进行探索和重启技术来避免环境切换，并提供更好的实验结果。

Feb, 2023

在线微调参数，动态评估，参数的临时变化状态，样本效率。

Mar, 2024

研究表明，在大规模在线推荐系统中，采用基于代理模型的最优化算法可以通过动态切换代理模型而对海量的超参数配置进行评估来提高模型指标。

Sep, 2022

通过基于方差的函数分析技术，在持续任务学习中探索了超参数选择的作用以及根据任务复杂度不断自动调整超参数的必要性，实证表明该方法可以持续地加快超参数优化速度并在不断变化的顺序任务中表现出鲁棒性，为现实应用中更高效、更稳健、更适应性强的持续学习方法做出了贡献。

Mar, 2024

本研究提出了一种新颖算法 Hyperband，通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。

Mar, 2016

本文介绍了如何通过逆向随机梯度下降的动态过程精确计算出所有超参数的交叉验证性能梯度，并优化上千个超参数，包括学习速率、动量方案、权重初始化分布，多参数正则化方案和神经网络架构。

Feb, 2015

本研究提出一种新的学习率自适应算法来解决 Hypergradient 优化算法在处理大规模数据集和验证集上的表现问题，实验证明该算法在速度和精度上都能超越现有的优化算法。

Oct, 2022

本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

Jul, 2018

介绍了一种基于 Lagrangian hedging 的在线算法（包括 regret-matching 和 hedge），通过引入 optimism 和 adaptive step size 对非对抗性问题进行了优化，并给出了相应的性能界限。

Jan, 2021