本文提出了一种结合贝叶斯优化和基于 Bandit 的方法的实用超参数优化方法，该方法在各种类型的问题上都优于贝叶斯优化和 Hyperband，并且具有强大的任何时候性能和快速收敛到最佳配置的优势，对高维度的玩具函数、支持向量机、前馈神经网络、贝叶斯神经网络、深度强化学习和卷积神经网络都适用。

Jul, 2018

提出了一种新的高维随机优化方法，将坐标下降法推广到随机子空间，证明了使用自适应采样策略的随机子空间可以显著优于最近文献中常见的盲目采样方法，可以通过相关随机矩阵集合有效生成自适应子空间；在具有不同谱衰减的数据矩阵上验证了该方法在机器学习问题中的速度优势，包括逻辑回归、带随机卷积层的核分类和具有修正线性单元的浅神经网络。

Jun, 2019

本研究提出了一种新颖算法 Hyperband，通过自适应资源分配和提前终止实现了超参数优化的加速。该算法在一系列超参数优化问题中比流行的贝叶斯优化方法提供了一个数量级以上的加速。

Mar, 2016

本文提出了一种基于贝叶斯优化的方法，该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中，我们的算法通过选择最佳超参数的方式，以最小时间成本实现了调优。

Sep, 2019

通过使用多线性多项式和指数权重更新，我们提出了一种基于模拟退火的计算有效模型学习算法，以优化布尔双立方体上的黑盒函数优化问题，并获得了比文献中现有算法快几个数量级的计算时间和具有竞争性的性能。

Jun, 2020

本文介绍了使用随机零阶查询优化高维凸函数的问题，提出了两种算法，并表明两种算法只依赖于问题的环境维度的对数收敛率。实证研究证明了理论发现，并表明我们设计的算法在高维场景中优于经典的零阶优化方法。

Oct, 2017

提出了一种基于生成模型的贝叶斯优化方法，通过学习验证误差关于训练集大小的函数，并在小的子集上进行预先配置的探索，从而加速超参数优化，并且可以自动平衡全局最优解的信息增益与计算成本。实验结果表明，该方法比现有的另外两种贝叶斯优化方法和一种最近提出的 Hyperband 策略都要更快地找到高质量解。

May, 2016

本文研究了贝叶斯框架下稀疏矩阵分解的超参数调整问题。基于先前的工作，提出了一种新的基于数值的超参数调整方法，通过评估稀疏矩阵先验中的归一化因子零点。与广泛使用的稀疏主成分分析算法相比，我们的方法在地面真实稀疏矩阵重建上表现出优异的性能。

May, 2023

本研究中，我们对寻找欠定线性方程组的稀疏解的两个重要算法进行了广泛的计算实验，并进行了最优参数选择。我们的优化程序在 sparselab.stanford.edu 上提供，并且在没有用户调整的情况下运行 “开箱即用”。我们通过我们的随机欠定线性系统套件，使用相变的概念对我们的算法进行了最优化，并展示了我们调整程序使每类算法内达到了可能的最高相变。

Sep, 2009

本研究提出了一种新的确定性和高效的超参数优化方法，该方法采用径向基函数作为误差代理，通过动态坐标搜索来搜索最有前途的超参数值，并且需要更少的函数评估，从而在 MNIST 和 CIFAR-10 数据集的四个深度神经网络上取得了极好的表现，平均而言，HORD 比 GP-EI 获得 19 个超参数的最佳配置要快 6 倍以上。

Jul, 2016