Apr, 2024
生成对抗网络中极小 - 极大优化问题的高斯 - 牛顿方法
A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks
Neel Mishra, Bamdev Mishra, Pratik Jawanpuria, Pawan Kumar
TL;DR提出了一种新的一阶方法用于训练生成对抗网络（GANs），它修改了高斯 - 牛顿法来近似求解最小 - 最大海森矩阵，并使用谢尔曼 - 莫里森逆公式计算其逆，通过固定点方法确保必要的收敛。通过在 MNIST、Fashion MNIST、CIFAR10、FFHQ 和 LSUN 等常用的图像生成任务的数据集上进行数值实验证明了该方法的有效性。该方法能够在多个数据集上生成高保真度图像，并在与包括最先进的二阶方法在内的其他方法比较中，在 CIFAR10 上获得了最高的 Inception Score，执行时间与一阶最小 - 最大方法相当。