Jan, 2024

多目标双层优化的一阶多梯度算法

PDF
TL;DR本研究针对多目标双层优化问题，提出了一种高效的一阶多梯度方法 FORUM，将 MOBLO 问题重新构造为约束的多目标优化问题，并通过一种新颖的多梯度聚合方法解决了具有挑战性的约束的多目标优化问题。理论上，我们提供了复杂度分析来展示所提出方法的效率以及非渐近收敛结果。实证上，广泛的实验表明了 FORUM 方法在不同的学习问题中的有效性和高效性，尤其在三个多任务学习基准数据集上取得了最先进的性能。
multi-objective bi-level optimizationmoblofirst-order multi-gradient methodconstrained multi-objective optimizationforum method
发现论文，激发创造
  • 受约束的双层优化：近端拉格朗日值函数方法与无 Hessian 算法

    针对一类具有上下级变量耦合的约束双层优化问题，本研究提出了一种新的方法和算法。通过设计平滑的近端 Lagrangian 值函数来处理约束的下层问题，并将原始问题转化为具有平滑约束的等价优化问题，从而实现了一种适用于机器学习应用的基于近端 Lagrangian 值函数的非 Hessian 梯度算法。此外，还针对 LV-HBA 进行了收敛性分析，不需要对下层问题进行传统的强凸性假设，并且能够处理非单例情况。实证结果验证了该算法在实际性能上的优越性。

    Jan, 2024

  • 松弛平滑条件下随机双层优化的最优算法

    本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。

    Jun, 2023

  • 解凸二层优化问题的一阶方法

    本文研究凸双层优化问题，其中内层最小化平滑函数和非凸函数的和，外层旨在在内层问题的最优解集合上最小化平滑且强凸的函数。我们分析了一个基于现有不动点算法的一阶方法，通过内部目标函数值建立了方法的全局次线性收敛率。

    Feb, 2017

  • BOME! 一种简单的一阶方法实现双层优化

    本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

    Sep, 2022

  • 双层优化与 Stackelberg 博弈的一阶收敛方法

    本研究提出了一种使用一阶信息解决一类双层优化问题的算法，该算法不需要使用二级目标的梯度的标准估计器或内部问题的近似解算器，而是交替使用幼稚的优化方法降低内部问题和使用特殊构建的梯度估计器降低上层目标函数，我们提供了双层目标的到达平稳点的非渐近收敛速率，而且在闭环函数不凸的情况下仅显示局部最小值的渐近收敛。该方法受到了两个时间规模随机逼近算法文献中的思想的启发。

    Feb, 2023

  • 基于贝叶斯优化的多目标混合变量问题

    本研究提出了一种混合变量、多目标贝叶斯优化框架 MixMOBO，可高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，结果表明 MixMOBO 在合成问题上表现良好。

    Jan, 2022

  • 双动量方法用于下层约束双层优化

    通过利用非光滑隐函数定理，提出一种新的双层约束双目标函数优化的超梯度方法，并基于双动量方法和自适应步长方法提出了一种单循环单时间尺度算法，经证明它可以返回一个（δ，ε）- 稳定点，迭代次数约为 O (d2^2ε^-4)，在两个应用上的实验证明了该方法的有效性。

    Jun, 2024

  • 从统一视角探究双层优化在学习和视觉中的应用：调查与进展

    本文介绍了如何使用 Bi-Level Optimization（BLO）来解决计算机视觉和机器学习领域的问题，建立了一个单层重构和统一算法框架，讨论了这个框架的潜力和未来的研究方向。

    Jan, 2021

  • 实用的一阶贝叶斯优化算法

    本文提出了一种基于高斯过程（GP）和利用梯度信息的多层次收获函数的 FOBO 算法，该算法在机器学习中的应用并验证结果优于现有的方法。

    Jun, 2023

  • 基于梯度的双层优化在深度学习中的应用

    本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

    Jul, 2022