通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

Jun, 2020

本研究提出了一种新的确定性和高效的超参数优化方法，该方法采用径向基函数作为误差代理，通过动态坐标搜索来搜索最有前途的超参数值，并且需要更少的函数评估，从而在 MNIST 和 CIFAR-10 数据集的四个深度神经网络上取得了极好的表现，平均而言，HORD 比 GP-EI 获得 19 个超参数的最佳配置要快 6 倍以上。

Jul, 2016

利用集成的神经网络元学习方法来优化超参数排序，取得了超参数优化方面的最新最优结果。

Mar, 2023

对于优化昂贵的黑盒函数，代理优化算法表现出了一定的潜力。然而，与采样和代理适配相关的超参数对其性能产生了很大影响，这给普及它们带来了挑战。我们研究了超参数对各种代理优化算法的影响，并提出了一种名为 Hyperparameter Adaptive Search for SO（HASSO）的方法。HASSO 不是一个超参数调整算法，而是一种通用的自适应代理优化算法，通过动态调整自己的超参数同时优化主要目标函数，而无需额外的评估。目标是提高代理优化算法对实践者的可访问性、效果和收敛速度。我们的方法确定并修改了每个问题和代理方法相关的最有影响力的超参数，减少了手动调整的需要，同时不显著增加计算负担。实验结果证明了 HASSO 在加强各种代理优化算法在不同全局优化测试问题上的性能方面的有效性。

Oct, 2023

该论文提出了一种基于深度核网络的深度学习模型元学习的方法来进行超参数优化的 Few-shot 学习，相比于传统的贝叶斯优化算法在多个元数据集上取得了新的最优结果。

Jan, 2021

我们引入了决策为中心的替代建模的概念，以解决实时环境下的计算困难的非线性优化问题。所提出的数据驱动框架旨在学习一个更简单的，例如凸优化模型，该模型经过训练以最小化决策预测误差，该误差定义为原始优化模型和替代优化模型的最优解之间的差异。我们将学习问题作为双层规划问题来进行建模，可以看作是一个数据驱动的逆优化问题，我们采用之前工作中的分解型解决算法进行处理。我们通过涉及常见非线性化学过程（如化学反应器、热交换网络和物料混合系统）的数值实验验证了我们的框架。我们还详细比较了以决策为中心的替代建模和标准的数据驱动替代建模方法，并证明了我们的方法在产生简单的替代模型且预测决策准确性更高方面具有显著的数据效率。

Aug, 2023

本研究提出了一种基于梯度提升的代理模型，并使用分位数回归来提供未观察到的超参数设置的性能的乐观估计，同时结合未观察到和观察到的超参数设置之间的距离度量来帮助调节探索。经实证表明，该方法能够在一系列分类问题中优于一些最新的技术。

Jan, 2021

提出了一种通过元代理模型来解决超参优化问题中的样本不足和较大问题实例计算昂贵的方法，该模型结合了概率编码器和多任务模型，可生成成本低廉且逼真的诸如感兴趣问题类别的任务，表明在样本生成模型上进行超参数优化方法的基准测试，可以比使用原始任务快几个数量级地得出更一致和具有统计显著性的结论。

May, 2019

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

本文提出了一种基于代理的协作技术，以找到任意一组超参数（或决策变量）的近似最优值，其设计了分布式搜索操作的分层代理架构，使用基于自适应宽度的随机采样技术进行合作搜索，并在机器学习和全局函数优化应用中，通过与两种常用随机调整策略的比较得出，该模型在多维度和设备资源有限的情况下优于其他方法。

Mar, 2023