本文研究一类内部目标函数为强凸函数的双层规划问题,给出了一种求解该问题的逼近算法,并在外部目标函数为不同凸性的情况下提供了其有限时间收敛分析。同时,提出了一种加速变体以提高收敛速度,并推广了结果到只有有限的信息可用的随机情况下。本文是第一次为双层规划提供了已确定的迭代复杂度(样本复杂度)的(随机)逼近算法。
Feb, 2018
本文介绍了近期变分成像中基于双层优化的学习方法,着重强调它们在函数空间中的处理重要性。
May, 2015
本文提出了一种改进的双层模型,该模型利用自动差分算法优化了双层模型的公式,并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估,结果显示新模型的性能优于当前双层模型。
Sep, 2020
本篇论文提供了多方面的双层优化算法收敛速度分析,包括问题和算法两个方面,提出了更加高效可扩展的算法设计,并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。
Jul, 2021
本文针对双层 (随机) 优化问题,探讨了梯度下降方法的算法稳定性与泛化误差之间的基本联系,并在一般性情形下给出了稳定性界限的分析,通过实验证明了迭代次数对泛化误差的影响。
Oct, 2022
基于双层规划的元学习方法,将表示层作为共享超参数,在少数样本情况下实现了较好的结果。
Jun, 2018
本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型,旨在将 Bi-level Programming 加入到神经网络中,通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明,该模型成功地将传统单层方法扩展到了 Bi-level Programming
Feb, 2023
本文介绍了双层优化的基本原理和解决策略,包括经典方法和进化计算技术,并讨论了一些可能的应用问题,鼓励进化计算研究人员更多关注这个实用而具有挑战性的领域。
May, 2017
本文提出了一种基于对偶理论的方法来解决具有凸低层问题的双层规划问题,并且引入了一种优化方法以保证约束条件成立。作者通过提出的构建新对偶函数方法获得技术性结果,并最终通过求解两个实例来演示该算法的有效性。
Aug, 2016
本文提出了一种基于一阶梯度信息的简单双层优化算法,适用于深度学习中大规模的非凸函数,无需隐式微分,并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明,实验结果表明其优越的性能表现。
Sep, 2022