May, 2016

混合限制条件下带松弛变量增广 Lagrangian 的贝叶斯优化

PDF
TL;DR介绍了一种基于松弛变量的增广 Lagrangian 方法，用于优化包括等式和不等式约束的问题。该方法可以用库例程计算 EI，与传统方法相比表现优异。
augmented lagrangianbayesian optimizationinequality constraintsequality constraintslocal solvers
发现论文，激发创造
  • 黑盒约束优化的增广 Lagrange 建模

    本研究提出一种混合方法，结合响应面建模、期望改进和增广拉格朗日数值优化框架，以解决拥有复杂约束的组合优化问题，该方法可以将全局思维与局部操作结合起来，可应用于高成本的仿真评估和建模工作，提高已有的目标导向统计方法的效率。

    Mar, 2014

  • 基于贝叶斯优化的多目标混合变量问题

    本研究提出了一种混合变量、多目标贝叶斯优化框架 MixMOBO，可高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，结果表明 MixMOBO 在合成问题上表现良好。

    Jan, 2022

  • 非凸优化及非线性约束问题的不精确增广 Lagrangian 框架

    本研究提出了一种实用的不精确增广拉格朗日方法（iALM）用于具有非凸问题和非线性约束，这种方法可以在计算复杂度上符合理论结果。

    Jun, 2019

  • 未知约束的贝叶斯优化

    研究了具有先验未知约束的贝叶斯优化及其在优化问题中的应用，并提供了解决此类问题的通用框架，并在潜在 Dirichlet 分配，神经网络调整和哈密顿蒙特卡罗优化等问题中进行了有效性实证。

    Mar, 2014

  • 基于自适应主动学习的约束贝叶斯优化

    通过理论和实践方面的研究，发现在拥有噪声的约束贝叶斯优化中，通过识别高置信度兴趣区域，相交这些区域得出最终兴趣区域，并利用平衡优化和可行区域识别的新型获取函数，为其性能获得严谨的理论证明。

    Oct, 2023

  • 受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

    针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

    Jan, 2024

  • 约束非凸优化的提速不精确增广拉格朗日方法

    本研究提出了一种改进的不精确增广拉格朗日方法（iALM），并通过统一分析证明了针对具有线性等式或非凸约束的非凸问题的 iALM 的高效性，该算法在实践中比罚函数方法表现显著更好。我们的数值实验验证了所提出的方法的有效性，具有重要的理论和实践意义。

    Jul, 2020

  • 无似然贝叶斯优化的通用配方

    提出了一种基于无似然推断的方法（LFBO），通过直接建模采集功能而不必单独执行概率替代模型上的推断，使 BO 扩展到更广泛的模型和实用程序类别，通过适当地选择实用程序函数（EI），LFBO 在几个实际最优化问题上优于各种最先进的黑匣子优化方法。

    Jun, 2022

  • 锥约束非单调变分不等式问题的增广 Lagrangian 方法

    本文提出了一种名为 ALAVI 的增广 Lagrangian 原始 - 对偶方法，用于解决带有凸锥约束的非单调（混合）变分不等式模型，并证明了该方法的收敛性和全局收敛速率以及具有单调映射时的加速收敛速率，同时进行了大量的数值实验以证明方法的实用性。

    Jun, 2023

  • 混合变量的贝叶斯优化

    本文介绍了一种新型的 Bayesian optimization（MiVaBo 算法），并且通过优化获取函数，在 mixed-variable 函数的优化过程中使其成为第一个能够处理离散变量复杂约束的 BO 方法，并提供了混合变量 BO 算法的第一个收敛分析，最后在多个具有超参数的调优任务中显示出 MiVaBo 显着比最先进的混合变量 BO 算法具有更高的样本效率，对于深度生成模型的优化更是如此。

    Jul, 2019