Jul, 2022

Wasserstein 条件生成对抗神经网络的稳定并行训练

TL;DR提出了稳定且并行的方法,用固定的计算资源训练 Wasserstein 条件 GAN,通过使用多个生成器并避免进程间通信来减少模式塌陷的风险和提高可扩展性。在 CIFAR10,CIFAR100 和 ImageNet1k 数据集上验证了该方法的性能,并以固定计算时间内的可扩展性和最终准确性来评估性能。使用达到 2000 个 NVIDIA V100 GPU 的 OLCF 超算机 Summit 进行弱扩展.