本文是第一篇关于连续优化问题的、全面的学习优化(L2O)综述和基准论文。我们对现有方案和研究方向进行分类,并对若干最具代表性的优化问题进行了基准测试。同时,我们在 Open-L2O 包中发布了我们的实现和数据,以进行可重复的研究和公平的基准测试。
Mar, 2021
本文提出了一种基于数学原理的 L2O 模型,通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。
May, 2023
通过识别经典算法服从的关键原则并将其用于优化学习(L2O)中,我们提供了一个综合设计流程,以数据、架构和学习策略为考虑因素,从而实现经典优化与 L2O 之间的协同,形成了学习优化算法的理念。通过设计一种新的增强学习 BFGS 算法并提供数值实验证明其在多种测试环境中的适应性,我们展示了这些新原则的成功。
May, 2024
该论文研究了学习优化(L2O)在新领域中的迁移性问题,并提出了一种元训练的 L2O 优化器解决方案,可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。
Feb, 2023
该论文证明了引入符号回归到 Learning to Optimize (L2O) 中的概念可以避免可扩展性和可解释问题,提出了一种基于符号回归的 L2O 模型并证明了其有效性。
Mar, 2022
本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境,并利用离策略模仿学习来引导 L2O 学习。结果表明,即使是最简单的 L2O 模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂 L2O 模型。
Oct, 2020
该研究提出了一种 Safe-L2O 框架,以获得优化算法和数据驱动算法的优势,该框架具有收敛保证且利用机器学习实现快速的数据驱动算法。
Mar, 2020
本文聚焦于改进高维昂贵黑匣子优化的学习优化框架,并提出一种基于廉价代理函数和进化算法机制的新框架 B2Opt,相比黑匣子优化基准测试,B2Opt 能够实现 3 到百万倍的性能提升。
Apr, 2023
该论文研究了利用神经网络在 robust combinatorial optimization 中解决 minimax optimization 问题的新方法 Learning for Robust Combinatorial Optimization (LRCO),并通过在车载边缘计算中解决任务分配问题进行模拟,证明了 LRCO 能够大大减少最坏情况的成本和提高鲁棒性,同时具有非常低的运行时复杂度。
Dec, 2021
机器学习模型通过训练来预测双重解估计,并从中构建原始估计,以形成双重可行解对。通过采用来自实际增广 Lagrangian 方法的技术,该训练方案可以改进,从而学习高度准确的有约束优化求解器,适用于凸和非凸问题。
Mar, 2024