May, 2024

极小 - 极大算法在黎曼流形上收敛于可微平衡点

PDF
TL;DR通过普遍基于谱分析的方法，对 Riemann 流形上的零和可微博弈问题推广了可微 Steckelberg 平衡和可微 Nash 平衡，并给出了算法局部收敛的充分条件。这些算法通过引入随机梯度来扩展，并应用于训练 Wasserstein GAN 模型，从而提高 GAN 模型的性能。
min-max algorithmszero-sum differentiable gamesriemannian manifolddifferentiable nash equilibriumwasserstein gan
发现论文，激发创造
  • 一种收敛且与维度无关的极小 - 极大优化算法

    研究了一种新型的 min-max 优化框架，其中 max-player 在贪心策略下更新参数至一阶稳定点；给出了在平稳性要求下的定理证明，提出了一种利用随机梯度估计的 GAN 训练算法，成功地避免了模式崩溃的问题。

    Jun, 2020

  • 局部曲率下极小极大博弈梯度方法的本地收敛

    本论文研究两人零和可微分博弈梯度方法的局部纳什均衡，证明了只要 S 为非零偏曲率，且反对称矩阵 A 的特征向量与 S 核的一般位置相关，则达到收敛，重点研究了连续游戏和极大极小博弈中的应用。

    May, 2023

  • 梯度下降上升的收敛性：一个严格的局部分析

    本文探讨了梯度下降上升（GDA）方法在生成对抗网络中极小化最大化优化问题的收敛性质及实现方式，研究表明 GDA 在本地条件数为 y 时的步长比至少需要为 θ（Kappa），并支持在随机 GDA 和额外梯度方法（EG）中的应用。

    Jul, 2022

  • 黎曼流形上的随机梯度下降

    本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

    Nov, 2011

  • 在黎曼流形上的游戏中，无关曲率的最终迭代收敛

    该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。

    Jun, 2023

  • 在黎曼流形上的均值随机梯度下降

    本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

    Feb, 2018

  • 使用变分不等式实现 GANs 的全局收敛到平衡点

    通过对变分不等式框架的分析，我们发现在 GAN 的基本变体 Wasserstein Linear-Quadratic GAN 中，直接梯度下降方向会导致不收敛，而特定的正交方向可以实现收敛，我们称之为 “通过卷曲”，这是命名来源于其数学推导及感性：识别游戏的旋转轴并向 “卷曲” 更小的方向移动空间。

    Aug, 2018

  • GANs 可能没有纳什均衡

    本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题，提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点，称为近端训练， 并进行了数值实验。

    Feb, 2020

  • Stackelberg GAN：通过多生成器结构实现可证明的极小极大均衡

    通过新的架构设计，我们通过多种生成器体系结构缓解了 GAN 训练中的不稳定性问题，并通过 Shapley-Folkman 引理的新应用提出了一种新的 Stackelberg GAN，优于以前的多生成器 GAN，在基准数据集上比以前的方法提高了 14.61% 的 Fréchet Inception 距离。

    Nov, 2018

  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021