从学习优化到学习优化算法

May, 2024

From Learning to Optimize to Learning Optimization Algorithms

Camille Castera, Peter Ochs

TL;DR通过识别经典算法服从的关键原则并将其用于优化学习（L2O）中，我们提供了一个综合设计流程，以数据、架构和学习策略为考虑因素，从而实现经典优化与 L2O 之间的协同，形成了学习优化算法的理念。通过设计一种新的增强学习 BFGS 算法并提供数值实验证明其在多种测试环境中的适应性，我们展示了这些新原则的成功。

Abstract

Towards designing learned optimization algorithms that are usable beyond their training setting, we identify key principles that classical algorithms obey, but have up to now, not been used for →

learned optimization algorithms classical algorithms learning to optimize data architecture and learning strategy

发现论文，激发创造

构建数学结构以实现学习优化

本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

May, 2023

学习优化：入门与基准

本文是第一篇关于连续优化问题的、全面的学习优化（L2O）综述和基准论文。我们对现有方案和研究方向进行分类，并对若干最具代表性的优化问题进行了基准测试。同时，我们在 Open-L2O 包中发布了我们的实现和数据，以进行可重复的研究和公平的基准测试。

Mar, 2021

学习优化：连续和混合整数优化的教程

学习优化（L2O）介于传统优化和机器学习的交叉点，利用机器学习的能力增强传统优化技术，通过考虑实际应用的前提和优化问题的结构，提供了一个综合指南，加速优化算法并适应更加真实的应用。

May, 2024

训练更强的基线学习优化

本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境，并利用离策略模仿学习来引导 L2O 学习。结果表明，即使是最简单的 L2O 模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂 L2O 模型。

Oct, 2020

符号学习优化：追求可解释性和可扩展性

该论文证明了引入符号回归到 Learning to Optimize (L2O) 中的概念可以避免可扩展性和可解释问题，提出了一种基于符号回归的 L2O 模型并证明了其有效性。

Mar, 2022

安全学习的凸优化

该研究提出了一种 Safe-L2O 框架，以获得优化算法和数据驱动算法的优势，该框架具有收敛保证且利用机器学习实现快速的数据驱动算法。

Mar, 2020

使用非线性系统理论学习带有收敛保证的优化方法

我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

Mar, 2024

B2Opt: 学习用小预算优化黑盒优化

本文聚焦于改进高维昂贵黑匣子优化的学习优化框架，并提出一种基于廉价代理函数和进化算法机制的新框架 B2Opt，相比黑匣子优化基准测试，B2Opt 能够实现 3 到百万倍的性能提升。

Apr, 2023

M-L2O：面向可泛化的学习优化 —— 通过测试时间的快速自适应

该论文研究了学习优化（L2O）在新领域中的迁移性问题，并提出了一种元训练的 L2O 优化器解决方案，可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。

Feb, 2023

学习优化

本篇论文探讨了通过强化学习的方法生成优化算法，该方法可自动发现更好的算法，并通过指导策略搜索学习出的优化算法在收敛速度和 / 或最终目标值方面优于手工设计的现有算法。

Jun, 2016