lyapunov function | BriefGPT

关键词lyapunov function

搜索结果 - 12

狮子暗中解决约束优化：正如李亚普诺夫所预测的
Lion 是一种优化器模型，通过程序搜索发现，它在训练大型 AI 模型上展示了有希望的结果，在内存效率上与 AdamW 相当或更好。通过连续时间和离散时间分析，我们证明了 Lion 在最小化一般损失函数并强制执行边界约束时是理论上新颖和有原
PDF9 months ago
基于被动性的加速凸优化方法
本研究提出了一种在连续时间域中设计加速凸优化算法的建构性方法，该方法利用控制理论中的经典概念 —— 无源性和时间依赖变量的改变，通过将内部动态系统的输出映射到优化变量，得到与优化动态相关的李亚普诺夫函数，提供了一个具有灵活性的通用框架，可以
PDFa year ago
一种灵活的梯度追踪方法的计算 - 通讯权衡
提出了一种灵活的梯度跟踪方法，用于解决非独立同分布情况下网络上的分布式随机优化问题，利用设计良好的李亚普诺夫函数，导出了计算和通信复杂度，以实现在光滑和强凸目标函数上的任意精度。
PDFa year ago
利用李雅普诺夫函数方法进行近似算法设计和分析：在子模最大化中的应用
本文提出了一种基于李雅普诺夫函数的逼近算法设计和分析的两阶段系统框架，第一阶段使用李雅普诺夫函数生成一个连续时间逼近算法，第二阶段将其转化为一个具有几乎相同逼近比和可证明时间复杂度的离散时间算法，旨在统一许多现有算法、指导设计和分析新算法，
PDF2 years ago
AAAI梯度预期 Sarsa ($λ$) 的收敛性
本研究针对线性函数近似下的 Expected Sarsa 算法的收敛问题，通过提出收敛性较好的 Gradient Expected Sarsa 算法，并应用 Lyapunov 函数技术分析其性能，得到较优实验结果。
PDF4 years ago
利用平滑凸包的随机逼近的有限样本分析
本文提出了一种基于广义 Moreau 信封的平滑 Lyapunov 函数方法，使用不同的步长展示了其在含噪声的固定点方程求解中的有限样本误差界，并将其应用于强化学习中的 V-trace 算法和 Q-learning，获得了现有最先进的结果，
PDF4 years ago
学习稳定深度动力学模型
本文提出了一种稳定学习动态系统的方法，该方法采用联合学习动态模型和李雅普诺夫函数的方法，这样学习的系统在整个状态空间内保持稳定，同时它也能够被结合到其他深度生成模型中学习复杂的动态系统，例如视觉纹理。
PDF4 years ago
线性随机逼近和 TD 学习的有限时间误差界
考虑由 Markovian 噪声驱动的线性随机逼近算法的动态特性，通过考虑适当选择的 Lyapunov 函数的漂移，获得常数步长算法的有限时间误差的二次矩的有限时间界限。我们还对逼近误差 2 范数的平方的矩进行了全面的处理。
PDF5 years ago
一种适用于嵌套随机优化的单时间尺度随机逼近方法
研究了一个名为 NASA 的算法，在约束嵌套随机优化问题中，通过估计梯度来找到近似的稳定点，并使用特殊 Lyapunov 函数证明了该算法的样本复杂度为 O (1/ε²)，同时提出了简化版 NASA 算法来解决约束单层随机优化问题。
PDF6 years ago
重球法的非单调行为
本文探讨了二阶稳定线性差分方程的解及其对无约束优化方法 - Heavy Ball 方法的削弱效果的影响，提出了改进算法，通过引入新的 Lyapunov 函数，使方法的收敛性在较少的限制条件下得到确立，并建议了一些重新启动技术来加速方法的收敛
PDF6 years ago
通过高分辨率微分方程理解加速现象
研究了基于梯度的优化和常微分方程的关系，提出了一种新的极限过程和高分辨率常微分方程模型，发现该模型比现有 ODEs 更为准确地刻画了 Nesterov 的加速梯度法（NAG-SC）以及 Polyak 的重球法之间的差异，对收敛性进行了分析，
PDF6 years ago
固定拓扑网络中的协作深度学习
本研究提出一种基于共识的分布式 SGD 算法，并使用 Lyapunov 方法分析其强凸和非凸目标函数的收敛性，能够支持数据并行和去中心化计算，适用于具有通信限制的本地数据的学习代理，实验表明该算法在 MNIST、CIFAR-10 和 CIF
PDF7 years ago