Mar, 2024

BloomGML: 透过双层优化镜头看图机器学习

PDF
TL;DR双层优化是指将下层能量函数的最优解作为上层感兴趣的目标的输入特征。本文说明了一系列图学习技术可以被重新解释为双层优化的特殊情况或简化形式，并提出了更灵活的能量函数类，形成图神经网络的消息传递层。此外，本文探索了与非图神经网络图学习方法的密切联系，并通过实证结果展示了所提出的双层优化方法的多样性。
bilevel optimizationgraph learning techniquesgraph neural networkknowledge graph embeddingslabel propagation
发现论文，激发创造
  • 隐式双层优化：通过双层优化规划进行求导

    本篇研究提出 Differentiating through Bilevel Optimization Programming (BiGrad) 模型，旨在将 Bi-level Programming 加入到神经网络中，通过类别估计算法以降低计算复杂度并支持对于连续变量的处理。实验结果表明，该模型成功地将传统单层方法扩展到了 Bi-level Programming

    Feb, 2023

  • 机器学习中的双层优化：算法设计与收敛分析

    本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

    Jul, 2021

  • 双层优化简介：在信号处理和机器学习中的基础与应用

    近期，双层优化（BLO）在信号处理和机器学习领域中取得了重要进展，本文提供了这一类可计算双层优化问题的基本概念、标准算法及其在信号处理和机器学习等领域应用中的最新进展，并指出了当前研究的一些局限性和需要未来深入探索的方向。

    Aug, 2023

  • 利用图神经网络解决双层背包问题

    本文提出了使用图神经网络解决双层背包问题的深度学习方法，该方法通过训练模型来预测领导者的解决方案，从而将层次优化问题转化为单层优化问题，我们的模型找到的可行解比精确算法快了约 500 倍，并且在训练大小不同的问题上表现良好。

    Nov, 2022

  • 基于梯度的双层优化在深度学习中的应用

    本篇综述论文研究了基于梯度的双层优化方法在深度学习中的应用和发展，通过探讨单任务和多任务优化问题的双层公式和四种优化器的应用，展示其在优化超参数和提取元知识方面的实用性和高效性，最后指出其广阔的科学问题应用前景。

    Jul, 2022

  • 从统一视角探究双层优化在学习和视觉中的应用：调查与进展

    本文介绍了如何使用 Bi-Level Optimization（BLO）来解决计算机视觉和机器学习领域的问题，建立了一个单层重构和统一算法框架，讨论了这个框架的潜力和未来的研究方向。

    Jan, 2021

  • ScaleBiO: 面向 LLM 数据重新加权的可扩展的双层优化

    本研究提出了第一种可扩展实例，称为 ScaleBiO，通过与一种称为 LISA 的新型算法相结合，使软件在八个 A40 GPU 上扩展到 34 亿参数的大型语言模型（LLM），标志着在实际应用场景中首次成功应用双层优化于大型 LLM。从实证上来说，对于不同规模的模型，包括 GPT-2，LLaMA-3-8B，GPT-NeoX-20B 和 Yi-34B，通过数据重加权广泛实验验证了 ScaleBiO 的有效性，其中双层优化成功地过滤了无关的数据样本，并选择了信息量较大的样本。从理论上来说，ScaleBiO 确保了学习到的数据权重的最优性，并具有匹配传统的一阶平滑凸优化双层优化范式的收敛保证。

    Jun, 2024

  • 关于过度参数的双层优化问题中的隐性偏差

    探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数是低维的。

    Dec, 2022

  • 一种通用的交替方法用于满足 Polyak-Łojasiewicz 条件的二层优化

    提出了一种推广后的交替优化方法（GALET）用于双层优化问题，可以适用于具有非凸下层目标函数的问题，并具有与一阶梯度下降相同的收敛速度。

    Jun, 2023

  • 无界平滑的双层优化：一种新算法和收敛性分析

    设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。

    Jan, 2024