基于在线学习的生成对抗网络方法
本文就生成对抗网络与强化学习算法中的优化困难性问题进行了探索,指出两类算法在训练过程中的不稳定性问题,以及缓解这些问题的策略,并将GAN视为一种无法影响奖励的actor-critic方法。希望此理论联系能够激发GAN和RL社区开发具有通用性、可扩展性和稳定性的深度网络算法,并促进两个社区之间的创新灵感。
Oct, 2016
本研究通过分析生成对抗网络(GAN)的训练算法的数值特征,使用平滑二人博弈的形式,分析GAN训练目标的梯度向量场的相关性,发现当前算法的收敛性受到两个因素的影响:一是梯度向量场的雅可比矩阵存在具有零实部的特征值,二是存在具有较大虚部的特征值,提出了一种基于这些发现的新算法,克服了一些限制并具有更好的收敛性能。实验表明,该算法在训练常见的GAN结构上具有优越性,且可以收敛于一些已知难以训练的GAN结构。
May, 2017
通过博弈论视角,使用历史混合模型对深度神经网络进行训练的Fictitious GAN方法可以有效地解决收敛问题,从而使生成器的输出分布在渐进意义下收敛于数据样本的分布。
Mar, 2018
利用自然梯度基于潜在空间的优化改进了CS-GAN模型,增强了模型的生成器和辨别器之间的互动,通过在ImageNet数据集上的实验表明,该方法在生成对抗网络训练中可显著提高模型性能。
Dec, 2019
本文从算法、理论和应用三个方面综述了各种生成对抗网络(GANs)算法的动机、数学表示和结构特点,比较了不同GANs方法的共同性和差异,探讨了GANs相关的理论问题以及在图像处理、自然语言处理、医疗领域、数据科学等领域的应用,并指出了未来GANs的开放性研究问题。
Jan, 2020
本文综述了生成模型的最新应用——生成对抗网络(GAN)及其在计算机视觉和机器学习领域的实际应用,讨论了GAN训练中的困难和障碍,并调查了不同研究者提出的训练方案,以求实现GAN的稳定训练,最后探讨了与该主题相关的新问题和研究方向。
Jun, 2020
通过引入一种新的梯度分解方法,将生成式对抗网络(GANs)分为对称GAN和非对称GAN并进行统一,在一个阶段内有效地训练了两者,以此减轻了训练的工作量,并在各种数据集和网络架构上实验证明了1.5倍的加速效果。
Feb, 2021
生成对抗网络(GANs)是在多个领域中生成逼真、多样化数据的强大工具。本研究综述了GANs的潜在架构、验证指标和应用领域,并探讨了GAN与Jensen-Shannon散度之间的深刻联系以及GAN框架的最优性特征。对GAN变体的效率、模型架构以及训练障碍和解决方案进行了评估,并详细讨论了GAN与Transformer、物理信息神经网络、大型语言模型和扩散模型等新开发的深度学习框架的整合。最后,揭示了该领域的若干问题和未来研究方向。
Aug, 2023