深度核替代的少样本贝叶斯优化
提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。
May, 2019
使用深度核函数的贝叶斯元学习方法（DKT）可应用于小数据集问题，提供了多种优势，实验结果优于多种现有算法，并可将复杂的元学习程序替换为简单的贝叶斯模型。
Oct, 2019
利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。
Mar, 2020
提出了一个新的基准HPO-B，该基准从OpenML存储库中组装和预处理，由176个搜索空间和196个数据集组成，旨在解决机器学习中的超参数优化问题，并使黑盒HPO方法在公平和快速的比较中具有可重复性。
Jun, 2021
介绍了一种名为DyHPO的灰箱超参数优化方法，它能够学习动态决定下一个尝试哪个配置和预算。通过50个数据集和各种神经网络的大规模实验，我们证明了DyHPO比最先进的超参数优化基线具有显着的优越性。
Feb, 2022
研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。
May, 2023
本文提出了一种简单的方法来预训练一个代理模型，该模型是一个高斯过程，其核函数定义在从先前任务得到的深度特征学习的变压器编码器的数据集上，用于解决可能具有异构输入空间的先前任务。此外，我们还提供了一种简单而有效的混合初始化策略，用于未见过的输入变量对应的输入标记，从而加速新任务的收敛。对合成和真实基准问题的实验表明，我们提出的预训练和迁移BO策略相比现有方法更加有效。
Aug, 2023
本研究结合了深度内核学习和基于注意力机制的Transformer模型，通过元学习来改进高斯过程（GP）代理模型的建模能力，并结合连续的软Actor-Critic强化学习训练的学习采集函数来辅助探索，从而在连续高维优化问题中取得了最先进的结果。
Oct, 2023
该论文提出了一种用于神经网络的超参数优化方法，使用已训练权重的记录检查点来引导未来的超参数选择，借助灰盒超参数优化方法，通过嵌入权重到高斯过程深度核代理模型来提高效率，并通过一个置换不变图元网络实现数据效率。
Jun, 2024