- ICMLPDHG-Unrolled 学习优化方法用于大规模线性规划
通过提出一种名为 PDHG-Net 的 FOM 展开神经网络并结合学习优化的方法,以及两阶段的 L2O 方法,我们在解决大规模 LP 问题方面取得了显著加速并获得多项式级神经元数的近似最优解。
- 从学习优化到学习优化算法
通过识别经典算法服从的关键原则并将其用于优化学习(L2O)中,我们提供了一个综合设计流程,以数据、架构和学习策略为考虑因素,从而实现经典优化与 L2O 之间的协同,形成了学习优化算法的理念。通过设计一种新的增强学习 BFGS 算法并提供数值 - 学习优化:连续和混合整数优化的教程
学习优化(L2O)介于传统优化和机器学习的交叉点,利用机器学习的能力增强传统优化技术,通过考虑实际应用的前提和优化问题的结构,提供了一个综合指南,加速优化算法并适应更加真实的应用。
- 使用非线性系统理论学习带有收敛保证的优化方法
我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架,可以自动化地优化学习到的算法,保证其设计上的收敛性。
- 学习带约束优化的深度增广 Lagrangian 方法
机器学习模型通过训练来预测双重解估计,并从中构建原始估计,以形成双重可行解对。通过采用来自实际增广 Lagrangian 方法的技术,该训练方案可以改进,从而学习高度准确的有约束优化求解器,适用于凸和非凸问题。
- ICML构建数学结构以实现学习优化
本文提出了一种基于数学原理的 L2O 模型,通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。
- B2Opt: 学习用小预算优化黑盒优化
本文聚焦于改进高维昂贵黑匣子优化的学习优化框架,并提出一种基于廉价代理函数和进化算法机制的新框架 B2Opt,相比黑匣子优化基准测试,B2Opt 能够实现 3 到百万倍的性能提升。
- ICLRM-L2O:面向可泛化的学习优化 —— 通过测试时间的快速自适应
该论文研究了学习优化(L2O)在新领域中的迁移性问题,并提出了一种元训练的 L2O 优化器解决方案,可以快速适应新任务。在经典任务上的实验证明了该方案的可行性。
- ICLR符号学习优化:追求可解释性和可扩展性
该论文证明了引入符号回归到 Learning to Optimize (L2O) 中的概念可以避免可扩展性和可解释问题,提出了一种基于符号回归的 L2O 模型并证明了其有效性。
- ICLR优化器合并
研究如何将一个优化器池中的优化器合并为单个性能更强的学生优化器。定义三种不同的可微合并机制,并探索稳定合并过程的方法,进而展示所合并的优化器相对于其组件和学习优化基线更为优越,以及利用扰动减少方差的有效性。
- MM学习鲁棒组合优化:算法与应用
该论文研究了利用神经网络在 robust combinatorial optimization 中解决 minimax optimization 问题的新方法 Learning for Robust Combinatorial Optimi - 学习优化:入门与基准
本文是第一篇关于连续优化问题的、全面的学习优化(L2O)综述和基准论文。我们对现有方案和研究方向进行分类,并对若干最具代表性的优化问题进行了基准测试。同时,我们在 Open-L2O 包中发布了我们的实现和数据,以进行可重复的研究和公平的基准 - 动量残差神经网络
本研究提出了一种新的神经网络结构,称为动量残差神经网络 (Momentum ResNets),其采用可逆性结构和动量机制,优于现有的可逆结构,能够学习任何线性映射并在 CIFAR 和 ImageNet 上具有与 ResNets 相同的准确度 - 训练更强的基线学习优化
本研究采用了训练技巧来改善 L2O 模型的实际表现。我们提出了一种渐进式训练方案来缓解 L2O 模型中截断偏差和梯度爆炸之间的困境,并利用离策略模仿学习来引导 L2O 学习。结果表明,即使是最简单的 L2O 模型也可以通过这种改进的训练技巧 - Rover 降落:通过在原型丢失平面上导航学习优化
通过 Rover Descent 方法,我们提出了一种学习良好导航策略来优化局部表面的方法,它可以用最小的二维数据集训练学习,从而在高维空间中达到良好的优化状态,而且仅使用零阶信息和不需要梯度或曲率信息。
- 神经网络优化学习
本文探索一种新的用于训练浅层神经网络的优化算法,该算法使用重新强化学习的方法,可以解决高维随机优化问题,即使在梯度和神经网络架构的随机性变化时,该算法训练出的优化算法始终优于其他已知的优化算法,能够成功将 MNIST 神经网络问题泛化到在多