安全学习的凸优化
本研究探讨了学习优化器是否能够超越手工优化器,并解决它们常常在分布范围之外波动不定的问题。作者提出了一种新型的优化算法,即 Loss-Guarded L2O (LGL2O),它基于期望的损失值来决定使用哪种优化器,具有更简单的概念和更低的计算成本,同时理论上具有收敛保证且实测效果更优于现有算法。
Jan, 2022
本文是第一篇关于连续优化问题的、全面的学习优化(L2O)综述和基准论文。我们对现有方案和研究方向进行分类,并对若干最具代表性的优化问题进行了基准测试。同时,我们在 Open-L2O 包中发布了我们的实现和数据,以进行可重复的研究和公平的基准测试。
Mar, 2021
通过识别经典算法服从的关键原则并将其用于优化学习(L2O)中,我们提供了一个综合设计流程,以数据、架构和学习策略为考虑因素,从而实现经典优化与 L2O 之间的协同,形成了学习优化算法的理念。通过设计一种新的增强学习 BFGS 算法并提供数值实验证明其在多种测试环境中的适应性,我们展示了这些新原则的成功。
May, 2024
该论文研究了学习优化(L2O)在新领域中的迁移性问题,并提出了一种元训练的 L2O 优化器解决方案,可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。
Feb, 2023
学习优化(L2O)介于传统优化和机器学习的交叉点,利用机器学习的能力增强传统优化技术,通过考虑实际应用的前提和优化问题的结构,提供了一个综合指南,加速优化算法并适应更加真实的应用。
May, 2024
该论文证明了引入符号回归到 Learning to Optimize (L2O) 中的概念可以避免可扩展性和可解释问题,提出了一种基于符号回归的 L2O 模型并证明了其有效性。
Mar, 2022
研究提出了一种基于安全保证的 SafeOpt 算法的改进,通过使用最新的高斯过程界限来保留所有的理论保证,并且引入了 Lipschitz-only Safe Bayesian Optimization 算法,它在没有 RKHS 边界假设的情况下保证了安全性,并且在多种函数类上表现出优于现有算法的性能,同时还提出了 Lipschitz-only GP-UCB 来扩展算法在高维问题上的适用性。
Mar, 2024
本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境,并利用离策略模仿学习来引导 L2O 学习。结果表明,即使是最简单的 L2O 模型也可以通过这种改进的训练技巧在许多任务上胜过最新的复杂 L2O 模型。
Oct, 2020