本论文提出了一种新的方法，利用估计梯度来逐渐自适应地优化机器学习中的未知函数，并验证了该方法在低维和高维问题上的实验性能，证明了在调整高维超参数时我们的方法的优越性。

Jun, 2019

本文提出一种基于梯度的方法来调整模型的超参数，使其在对验证成本更有利的情况下进行模型参数梯度和更新，实现对正则化超参数的调优。在 MNIST、SVHN 和 CIFAR-10 数据集上的实验表明，此方法比其他基于梯度的方法成本更低且一致找到了好的超参数值，有望成为神经网络模型训练的有用工具。

Nov, 2015

本文介绍了如何通过逆向随机梯度下降的动态过程精确计算出所有超参数的交叉验证性能梯度，并优化上千个超参数，包括学习速率、动量方案、权重初始化分布，多参数正则化方案和神经网络架构。

Feb, 2015

本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

Jul, 2020

使用梯度优化算法，利用隐函数定理及反向黑塞矩阵逼近来提高超参数优化的效率，成功应用于训练超大规模网络架构，例如数据增强网络，整个过程只比标准训练多花费少量内存与计算资源。

Nov, 2019

本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

Nov, 2023

本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。

Mar, 2023

使用变分正则化方法，通过双层学习来学习合适的超参数，同时提出了能够收敛到损失函数超参数的稳定点的近似回溯线搜索算法，并在变分正则化问题的超参数估计中展示了其有效性和可行性。

Aug, 2023

本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

Jun, 2023

本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

Jan, 2021