Aug, 2023

双层优化简介：在信号处理和机器学习中的基础与应用

PDF
TL;DR近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。
bi-level optimizationsignal processingmachine learningoptimizationemerging sp applications
发现论文，激发创造
  • 从统一视角探究双层优化在学习和视觉中的应用：调查与进展

    本文介绍了如何使用 Bi-Level Optimization（BLO）来解决计算机视觉和机器学习领域的问题，建立了一个单层重构和统一算法框架，讨论了这个框架的潜力和未来的研究方向。

    Jan, 2021

  • 关于过度参数的双层优化问题中的隐性偏差

    探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

    Dec, 2022

  • 基于原始 - 对偶辅助罚函数的耦合约束双层优化方法

    我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交通网络的基础设施规划这两个知名的实际应用进行了有效性验证。

    Jun, 2024

  • BloomGML: 透过双层优化镜头看图机器学习

    双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式，并提出了更灵活的能量函数类，形成图神经网络的消息传递层。此外，本文探索了与非图神经网络图学习方法的密切联系，并通过实证结果展示了所提出的双层优化方法的多样性。

    Mar, 2024

  • 基于梯度的双层优化在深度学习中的应用

    本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

    Jul, 2022

  • BOME! 一种简单的一阶方法实现双层优化

    本文提出了一种基于一阶梯度信息的简单双层优化算法，适用于深度学习中大规模的非凸函数，无需隐式微分，并有指导其在非凸优化问题上收敛于驻点的收敛性分析证明，实验结果表明其优越的性能表现。

    Sep, 2022

  • 通过双层优化推进模型剪枝

    本文介绍了一种基于双层优化的模型修剪方法，称为 BiP，它可以像一级优化一样简单地解决大规模深度学习模型的修剪问题，而且在大多数情况下，此方法可以比传统的迭代剪枝（IMP）找到更好的中奖率，并且在同样的模型准确性和稀疏度下可以获得 2-7 倍的速度提升。

    Oct, 2022

  • 双层优化综述：从古典到进化方法及其应用

    本文介绍了双层优化的基本原理和解决策略，包括经典方法和进化计算技术，并讨论了一些可能的应用问题，鼓励进化计算研究人员更多关注这个实用而具有挑战性的领域。

    May, 2017

  • 机器学习中的双层优化：算法设计与收敛分析

    本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

    Jul, 2021

  • 隐式双层优化：通过双层优化规划进行求导

    本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

    Feb, 2023