本文提出使用 CMA-ES 算法作为深度神经网络超参数优化的一种可行的选择，通过一个 MNIST 数据集的卷积神经网络的 toy experiment，对比了 CMA-ES 和 Bayesian 优化算法在 30 个 GPU 并行计算下的效果。

Apr, 2016

本文研究了 CMA-ES 的在线自适应方法 self-CMA-ES，旨在优化连续非线性问题的超参数设置，实验结果表明 self-CMA-ES 可以使得优化性能接近最优设置。

Jun, 2014

本研究针对进化计算领域中的算法选择问题，通过提出一种自适应 CMA-ES 算法的选择方式并测试，取得了比之前研究更稳健的结果，证明了模块选择对于不同优化问题的关键作用。

Apr, 2019

本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

Oct, 2017

本文研究贝叶斯优化在超参数优化中的应用，发现优化 BO 的超参数可以提高 BO 方法在各种基准测试中的的表现，优化后的 BO 调参效果在其他相似或不同领域的问题上有良好的推广性，并指出了最重要的 BO 超参数。

Aug, 2019

本论文提出了一种自动化的基于先前任务调优历史知识的方法，通过传递学习能力将现有的贝叶斯优化方法能够具有迁移学习的能力。同时，作者通过精简搜索空间设计的方法有效地提高了基于机器学习和深度学习，包括神经架构搜索等任务的效能，并在各种基准测试中优于现有技术。

Jun, 2022

本文提出一种自动设计 BO 搜索空间的方法，通过以前黑盒函数的评估结果，学习搜索空间几何形态，使传统的 BO 方法具有迁移学习属性，加速了各种黑盒优化问题的优化过程，结合随机搜索实现了无参数、易于实现、鲁棒的超参数优化策略。

Sep, 2019

本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

Sep, 2019

提出了一个新的基准 HPO-B，该基准从 OpenML 存储库中组装和预处理，由 176 个搜索空间和 196 个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒 HPO 方法在公平和快速的比较中具有可重复性。

Jun, 2021

本研究提出了利用贝叶斯优化预热的框架，用于减少在解决一系列相关问题中所需的解决时间。该方法可用于优化随机模拟器的输出，而渐变优化方法则无法胜任。我们的方法建立了一个相关目标函数的联合统计模型，并使用信息价值计算来推荐要评估的点。

Aug, 2016