Sep, 2023

基于梯度的优化方法和变分不等式在机器学习中的温和介绍

PDF
TL;DR机器学习中的快速进步基于与梯度优化的高效连接，在决策和多智能体问题上的转变为算法设计的新领域提出了新的数学挑战，我们提供了一个更广泛的梯度优化算法框架的简要介绍。
发现论文，激发创造
  • 机器学习的非凸优化：梯度、随机性和鞍点

    本文研究梯度下降和随机梯度下降等算法在机器学习中的应用，分析了这些算法在非凸优化问题中收敛到驻点的情况，提出了变形的算法可以更高效地避免出现维数灾难，从而沟通了理论和实践。

    Feb, 2019

  • 使用变分不等式实现 GANs 的全局收敛到平衡点

    通过对变分不等式框架的分析，我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中，直接梯度下降方向会导致不收敛，而特定的正交方向可以实现收敛，我们称之为 “通过卷曲”，这是命名来源于其数学推导及感性：识别游戏的旋转轴并向 “卷曲” 更小的方向移动空间。

    Aug, 2018

  • 随机和确定模型中的渐变估计和方差减少

    在当今时代，计算机、计算和数据在科学研究和发现中的重要性不断增加。本论文主要关注梯度本身，解决非线性优化问题，并介绍了逆向微分的概念和应用，以及分段连续模型的使用案例。

    May, 2024

  • 连续游戏中基于梯度的学习

    本研究提出了一个广泛适用于多智能体领域的竞争性基于梯度的学习模型，并使用动态系统理论对其进行了分析，对于有限和无限游戏，我们表征了一组非常小的局部纳什均衡，这组均衡将被激活，如果每个智能体采用基于梯度的学习算法。同时研究了基于算法自身构建的不属于纳什均衡的收敛策略在有限和无限游戏中的存在性，这可能解释了在零和游戏中，应用相关算法时出现的困难。最后，为了验证理论贡献，我们给出了一个示例验证。

    Apr, 2018

  • 一种适应于光滑度和噪声的变分不等式通用算法

    该论文提出了一种基于 Mirror-Prox 算法的普适性算法，适用于具有噪声和非噪声数据以及平滑和非平滑函数的情况。算法通过适应性步长的选择来处理相关的约束问题，可以用于解决凸最小化和凸 - 凹鞍点问题等应用。

    Feb, 2019

  • 具有函数约束的变分不等式问题的原始方法

    本研究提出了一个简单的原始方法，称为约束梯度法（CGM），以解决具有功能约束的变分不等式问题，并建立了非渐近收敛性分析，同时利用基于二次规划的更便宜的预算。

    Mar, 2024

  • 梯度基方法在全谱游戏中的紧密一致分析

    通过分析梯度方法在达到纳什均衡时的线性收敛特性，证明了变异梯度方法在双线性博弈和强单调性博弈中的各种表现，并发现了这些方法在极端情况下收敛机制的差异。同时证明了变异梯度可以在任意外推次数的情况下实现优化率，一个广泛算法类别的最佳值

    Jun, 2019

  • 变分优化

    本文讨论了一种形成非可微或离散目标函数最优解可微分界限的通用技术，提供了这些方法的统一描述，并且考虑了边界凸性的情况。特别地，我们考虑了该方法的两个具体应用：稀疏学习和支持向量分类。

    Dec, 2012

  • 复杂模型变分推断的快速简单的自然梯度下降

    本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

    Jul, 2018

  • 关于不精确模型下优化和变分不等式的非精确相对光滑度和强凸性

    提出一种用于优化框架、鞍点问题和变分不等式的一般算法框架，通过构建主要问题组成部分即优化目标函数或者变分不等式运算符的不精确模型，不但可以产生许多已知的算法方法，同时可以构造新的算法方法，如具有复合结构的变分不等式的通用条件梯度法和相对光滑度算子的变分不等式算法。

    Jan, 2020