应用最优输运改进GANs
本文介绍一种基于生成对抗网络的可伸缩的非平衡优化输运方法,该方法可以同时学习输运映射和缩放因子,以最优的代价推动源测量到目标测量,并提供了理论证明和数值实验。
Oct, 2018
本文介绍了一种新的基于生成对抗网络的优化输运模型,使用$2$-Wasserstein距离度量判别器的目标函数,证明了在训练期间,生成器沿着初始和目标分布之间的$W_2$-测地线走,最终重现出最优映射,在低维和高维连续设置中进行验证,并证明其在图像数据上的性能优于以前的方法。
Jun, 2019
通过鉴别器优化过程,我们在一类广义生成对抗网络中证明,鉴别器训练过程增加了 $p$ 与 $p_G$ 之间Wasserstein距离的双重代价函数下界,这意味着训练后的鉴别器可以近似从 $p_G$ 到 $p$ 的最优传输方案。基于一些实验和一点OT理论,我们提出了一个判别器最优传输方案(DOT)来改善所生成的图像。我们证明它可以提高Inception分数和由CIFAR-10,STL-10和ImageNet的公共预训练条件GAN训练的FID计算得出的非条件GAN的生成质量。
Oct, 2019
使用因果最优传输(COT)思想定义的COT-GAN算法应用于产生顺序数据,使用改进的Sinkhorn差异度量学习鉴别器的代价函数,并包括增加的时间因果约束和熵惩罚项。实验表明,该算法在产生低维和高维时间序列数据时具有很好的效率和稳定性。
Jun, 2020
本文提出了一种基于小批量优化技术的最优传输距离计算方法,探讨了该方法的优点和局限,并提出了一种去偏置的小批量最优传输距离函数,并在机器学习中的各种应用中验证了该方法的实用性。
Jan, 2021
通过对分布优化的角度重温和定义 DE-GAN,将现有方法分类为数据选择、GANs 优化和知识共享三个类别,总结了 Data-Efficient GANs 的特性、挑战与解决方案,并试图突出当下问题和未来方向。
Apr, 2022
生成对抗网络(GANs)是在多个领域中生成逼真、多样化数据的强大工具。本研究综述了GANs的潜在架构、验证指标和应用领域,并探讨了GAN与Jensen-Shannon散度之间的深刻联系以及GAN框架的最优性特征。对GAN变体的效率、模型架构以及训练障碍和解决方案进行了评估,并详细讨论了GAN与Transformer、物理信息神经网络、大型语言模型和扩散模型等新开发的深度学习框架的整合。最后,揭示了该领域的若干问题和未来研究方向。
Aug, 2023
以单一框架统一 Optimal Transport(OT)为基础的对抗方法,通过对统一框架的全面分析来阐明每个组成部分在训练动力学中的作用。我们提出了一个简单而新颖的方法,逐步改进生成分布,并逐渐与数据分布对齐。该方法在 CIFAR-10 上实现了 2.51 的 FID 得分,胜过了统一的基于 OT 的对抗方法。
Oct, 2023
通过半平衡最优传输的鲁棒训练技术,本文介绍了一种能有效缓解偏离值样本影响的鲁棒扩散生成对抗网络(RDGAN),通过全面评估展示了RDGAN在图像质量、分布模式覆盖以及推理速度等生成建模标准上优于标准DDGAN,且在处理干净和损坏数据集时表现出改进的鲁棒性。
Nov, 2023