使用满足整数约束的代理模型进行黑盒混合变量优化
本文研究迭代最小化目标函数代理的优化方法，通过算法变体和收敛性分析，提出一种统一的视角来看待加速近端梯度、区块坐标下降或Frank-Wolfe算法等一阶优化技术，并引入一种新的增量方案，实验证明与大规模机器学习优化问题中的最先进解算器匹配或超越其性能。
May, 2013
本文介绍了一种新型的Bayesian optimization（MiVaBo算法），并且通过优化获取函数，在mixed-variable函数的优化过程中使其成为第一个能够处理离散变量复杂约束的BO方法，并提供了混合变量BO算法的第一个收敛分析，最后在多个具有超参数的调优任务中显示出MiVaBo显着比最先进的混合变量BO算法具有更高的样本效率，对于深度生成模型的优化更是如此。
Jul, 2019
本研究提出了一种混合变量、多目标贝叶斯优化框架 MixMOBO，可高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，结果表明 MixMOBO 在合成问题上表现良好。
Jan, 2022
使用多目标贝叶斯优化方法，利用广义值分布来建立多独立 surrogate 模型（多 surrogates 方法），以解决现实问题中使用 scalarising 函数建立单一 surrogate 模型的限制。
Apr, 2022
本文提出在多目标优化中使用多模型代理建模的方法，克服了单模型代理建模方法存在的缺点，并使用广义极值分布逼近标量化函数分布， 在标准基准测试和实际优化问题上与现有方法进行比较，结果表明了该策略的潜力。
May, 2022
利用概率重参数化方法（PR）在混合或高基数离散搜索空间中最大化收购功能（AF），可显著提高贝叶斯优化（BO）的优化表现，并且能够很自然地扩展到具有多个目标和黑盒约束的设置。
Oct, 2022
对于优化昂贵的黑盒函数，代理优化算法表现出了一定的潜力。然而，与采样和代理适配相关的超参数对其性能产生了很大影响，这给普及它们带来了挑战。我们研究了超参数对各种代理优化算法的影响，并提出了一种名为Hyperparameter Adaptive Search for SO（HASSO）的方法。HASSO不是一个超参数调整算法，而是一种通用的自适应代理优化算法，通过动态调整自己的超参数同时优化主要目标函数，而无需额外的评估。目标是提高代理优化算法对实践者的可访问性、效果和收敛速度。我们的方法确定并修改了每个问题和代理方法相关的最有影响力的超参数，减少了手动调整的需要，同时不显著增加计算负担。实验结果证明了HASSO在加强各种代理优化算法在不同全局优化测试问题上的性能方面的有效性。
Oct, 2023
该论文提出了一种针对(V)MVOPs的元启发式解决方案统一分类法，旨在提供一个共同的术语和分类机制，从而解决现实世界中的混合变量优化问题，并识别可应用于元启发式方法的各种解决方法。讨论了所提方法的优点、弱点和局限性，并提出了一些需要进一步深入研究的未解决问题。
Jan, 2024
我们提出了一种基于深度生成代理模型的无梯度优化黑箱模拟器的新的不确定性估计方法。该方法通过建立黑箱响应模型来估计参数空间的不确定性，并利用Wasserstein距离来计算不确定性。我们的方法在测试中表现出比最先进的方法更适应黑箱函数和随机响应的形状。
Jul, 2024