AAAIFeb, 2023

隐式双层优化：通过双层优化规划进行求导

PDF
TL;DR本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming
bilevel optimization programmingdeep learningbigradgradient estimatorscombinatorial optimization
发现论文，激发创造
  • 机器学习中的双层优化：算法设计与收敛分析

    本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

    Jul, 2021

  • 提高的双层模型：具有理论保证的快速和最优算法

    本文提出了一种改进的双层模型，该模型利用自动差分算法优化了双层模型的公式，并在数据超级清理和超级表示学习等两个任务中进行了理论和实验评估，结果显示新模型的性能优于当前双层模型。

    Sep, 2020

  • 基于梯度的双层优化在深度学习中的应用

    本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

    Jul, 2022

  • 超参数优化和元学习的双层编程

    基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

    Jun, 2018

  • 超参数优化中双层规划的稳定性和泛化性

    本文研究双层规划的理论分析，并提出了一种基于统一稳定性的期望边界解释验证集方面的一些神秘的行为。同时证明了正则化项可以缓解梯度算法过拟合问题。

    Jun, 2021

  • BloomGML: 透过双层优化镜头看图机器学习

    双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式，并提出了更灵活的能量函数类，形成图神经网络的消息传递层。此外，本文探索了与非图神经网络图学习方法的密切联系，并通过实证结果展示了所提出的双层优化方法的多样性。

    Mar, 2024

  • 双层优化综述：从古典到进化方法及其应用

    本文介绍了双层优化的基本原理和解决策略，包括经典方法和进化计算技术，并讨论了一些可能的应用问题，鼓励进化计算研究人员更多关注这个实用而具有挑战性的领域。

    May, 2017

  • 双层优化：收敛分析与增强设计

    本文研究非凸强凸双层优化问题，提供了两种基于近似隐式导数和迭代导数的算法以及一种名为 stocBiO 的新型算法，并对它们进行了收敛性分析和比较，实验表明这些优化算法在元学习、超参数优化等方面表现出良好效果。

    Oct, 2020

  • 关于过度参数的双层优化问题中的隐性偏差

    探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

    Dec, 2022

  • 具有凸下层的双层规划的对偶方法

    本文提出了一种基于对偶理论的方法来解决具有凸低层问题的双层规划问题，并且引入了一种优化方法以保证约束条件成立。作者通过提出的构建新对偶函数方法获得技术性结果，并最终通过求解两个实例来演示该算法的有效性。

    Aug, 2016