ICMLMay, 2018

K-Beam Minimax：深度对抗学习的高效优化

PDF
TL;DR本文提出了一种新的 epsilon 次梯度下降算法来解决极小极大优化问题中内部最大化解的不连续性，该算法可以同时跟踪 K 个候选解，并且在 K 的复杂度下找到之前鞍点算法无法找到的解，在 GAN 训练和域自适应问题中有着显著的稳定性和收敛速度提升。
minimax optimizationadversarial trainingepsilon-subgradient descent algorithmsaddle-point algorithmsconvergence speed
发现论文，激发创造
  • 随机梯度下降法在极小极大问题中的稳定性和泛化性

    通过算法稳定性的视角，对凸凹和非凸非凹情形下的随机梯度方法在极小极大问题中的泛化能力进行了全面的分析，建立了稳定性与泛化能力之间的定量联系。在凸凹情形下，稳定性分析表明了随机梯度下降算法对于平滑和非平滑的极小极大问题皆可达到最优的泛化界。我们还确定了泛函弱凸弱凹和梯度占主导地位的问题的泛化界。

    May, 2021

  • 同时训练，更好地泛化：基于梯度的极小极大学习器的稳定性

    本文研究发现优化算法在训练最大 - 最小学习问题的生成式对抗网络中发挥了关键作用，涉及泛化性能和算法稳定性等方面，而梯度下降上升算法则是其中一种表现优越的算法。

    Oct, 2020

  • 无梯度的极小极大优化：收敛性和在对抗机器学习中的应用

    本文研究了黑盒环境下有约束的鲁棒（最小 - 最大）优化问题，并采用了零阶梯度估计器与交替投影随机梯度下降 - 上升方法的优化框架，称为 ZO-Min-Max，旨在探索在对抗机器学习中的黑盒最小 - 最大优化与黑盒逃避和污染攻击之间的可能联系。实证评估表明了该方法的有效性和可扩展性。

    Sep, 2019

  • GDA-AM: 通过 Anderson 加速解决极小极大优化问题的有效性研究

    提出了一个新的极小极大优化框架 GDA-AM，利用 Anderson 混合算法加速 GDA 收敛，解决了同时使用 GDA 时出现的发散问题，并以理论和实验的方式证明该算法在较温和的条件下可以实现二次问题的全局收敛，并改进了 GAN 训练。

    Oct, 2021

  • 交替近端梯度步骤用于（随机）非凸 - 凹极小极大问题

    本文针对非凸凹的情况，在最小极大问题中应用交替梯度下降方法找到临界点并证明了一种新的全局收敛速率。

    Jul, 2020

  • 通过学习优化器提高对抗训练

    本文介绍针对深度学习模型的对抗攻击防御机制之一 —— 双方博弈的对抗训练。作者将学习 - to-learn 框架应用于对抗训练中，利用递归神经网络训练出更加优秀的内部优化器，同时对优化器参数和模型参数进行联合训练，从而提高了模型的鲁棒性。

    Apr, 2020

  • 适应性额外梯度方法用于极小化 - 极大化优化及博弈

    提出了一种新的 MinMax 优化算法家族，它利用早期迭代所观察到的梯度数据的几何信息，以在后期执行更具信息性的额外梯度步骤，从而自适应地检测问题是否光滑。

    Oct, 2020

  • 非凸 - PL 极小极大问题的近最优分散动量法

    提出了 DM-GDA 方法，使用动量法更新变量和估计随机梯度，并证明在非凸情况下找到具有稳定解的解决方案的梯度复杂度接近最优，可用于在网络上进行分布式的 Nonconvex-PL 随机极小化问题的优化。

    Apr, 2023

  • 基于乐观和锚定的随机梯度方法在极小极大问题上的 ODE 分析

    本文研究生成式对抗网络的训练动态及其变种中的梯度下降算法的极小极大博弈，通过微分方程的连续时间分析，研究了凸、凹假设下的最后迭代收敛性，并提出了具有悲观特征和锚定特征的 simGD 算法和新的 anchored simGD 算法。

    May, 2019

  • 局部解决极小化极大化优化问题：跟随脊线方法

    本研究提出了一种称之为 Follow-the-Ridge 的新算法，这个算法克服了梯度下降算法在解决 minimax 优化问题时遇到的一些问题，同时在 toy minimax 问题和 GAN 训练中取得较好的效果。

    Oct, 2019