狮子暗中解决约束优化：正如李亚普诺夫所预测的

Oct, 2023

狮子暗中解决约束优化：正如李亚普诺夫所预测的

Lion Secretly Solves Constrained Optimization: As Lyapunov Predicts

Lizhang Chen, Bo Liu, Kaizhao Liang, Qiang Liu

TL;DRLion 是一种优化器模型，通过程序搜索发现，它在训练大型 AI 模型上展示了有希望的结果，在内存效率上与 AdamW 相当或更好。通过连续时间和离散时间分析，我们证明了 Lion 在最小化一般损失函数并强制执行边界约束时是理论上新颖和有原则的方法， LION 综合了多种现有算法的要素，但其理论基础仍然不确定。

Abstract

lion (Evolved Sign Momentum), a new optimizer discovered through program search, has shown promising results in training large AI models. It performs comparably or favorably to AdamW but with greater memory effic

lion optimizer decoupled weight decay theoretical basis lyapunov function

发现论文，激发创造

优化算法的符号发现

该研究提出了一种将算法发现作为程序搜索的方法，并应用于发现有关深度神经网络训练的优化算法，其中发现了一种名为 Lion 的更具内存效率的优化算法，该算法与 Adam 和 Adafactor 等优化器相比，在多种任务上取得了相似或更好的性能。

Feb, 2023

具有分布式 Lion 的通信高效分布式训练

本文介绍了一种新颖的 Lion 优化器适用于分布式训练环境，通过使用 Lion 中的符号操作符，仅需要在工人和中心服务器之间传送二进制或低精度向量，可显著降低通信成本，并具有良好的性能和带宽平衡。

Mar, 2024

LION: 三维形状生成的潜点扩散模型

介绍了一种用于 3D 形状生成的分层潜空间扩散模型 (LION)，该模型采用了变分自编码器 (VAE) 的方法，具有与点结构潜空间相结合的全局形状潜变量表示。LION 已在多个 ShapeNet 基准测试中实现了最先进的生成性能，并可用于多种相关任务，如形状去噪、体素条件综合。

Oct, 2022

FedLion: 更快的自适应联邦优化，通信更少

FedLion 是一种自适应联邦优化算法，将 Lion 算法的关键元素无缝地应用于分布式数据训练的 Federated Learning 框架中，通过综合评估表明 FedLion 在自适应算法中胜过现有的最先进算法，并通过使用有符号梯度在本地训练中来减少数据传输要求，进一步降低通信成本，并展示了 FedLion 相对于 FedAvg 等已建立的 FL 算法具有更快的收敛速度。

Feb, 2024

重新思考 SIGN 训练：可证明的非凸加速，无需一阶和二阶梯度 Lipschitz

基于信号的方法是一种能够在参数更新时只使用符号信息而实现稳健性能的方法。本文重新审视了基于信号的方法，并在更现实的一阶和二阶平滑性的假设下分析了其收敛性。基于我们的理论结果，我们对最近开发的 LION 算法的计算优势有了深入的了解。在分布式环境中，我们证明了当利用快速通信压缩传播协议时，这种非凸加速度随着节点数量的线性加速性仍然存在。我们的理论结果的新颖之处在于它们是在更弱的假设下得出的，从而扩展了基于信号算法可适用于更广泛问题范围的可证明应用性。

Oct, 2023

高效非凸约束优化的双人博弈

提出了一种称为 “代理拉格朗日” 的优化方案，用于在非凸约束条件下的分类问题，可应对非可微的约束条件，并能将分类器大小控制在不超过约束个数的 m+1 个内。

Apr, 2018

AdamW 的隐式偏差: l∞范数约束优化

AdamW 在语言建模任务中表现出优越的性能，优于具有正则化 l2 项的 Adam 算法，本文通过分析表明 AdamW 隐式地进行了约束优化。

Apr, 2024

预测混合整数线性规划的准确拉格朗日乘数

采用图卷积网络的深度学习方法来优化通过拉格朗日松弛解决复杂约束的混合整数线性规划问题，通过训练编码器和解码器来最大化连续松弛和最佳拉格朗日界限之间的间隙，并提供一个高质量的下降启动点。

Oct, 2023

AdamL：一种快速自适应梯度方法，融合损失函数

通过考虑损失函数信息以获得更好的泛化结果，我们提出了一种 AdamL 优化算法，该算法是 Adam 优化器的一种新变体。我们提供了足够的条件，以及 Polyak-Lojasiewicz 不等式，确保了 AdamL 的线性收敛性。与此分析的副产品，我们还证明了 EAdam 和 AdaBelief 优化器具有类似的收敛性质。基准函数上的实验结果表明，与 Adam、EAdam 和 AdaBelief 相比，AdamL 通常实现了最快的收敛速度或最低的目标函数值。当考虑到深度学习任务时，如训练卷积神经网络、使用普通卷积神经网络训练生成对抗网络以及长短时记忆网络，这些卓越的性能得到了证实。最后，在普通卷积神经网络的情况下，AdamL 优于其他 Adam 的变体，并且在训练的后期阶段不需要手动调整学习率。

Dec, 2023

使用非线性系统理论学习带有收敛保证的优化方法

我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

Mar, 2024