最优输运映射生成建模
学习度量到度量映射是机器学习中的一项关键任务,而神经最优输运方法(Neural OT)结合了神经网络模型和最优输运理论,将最优输运作为归纳偏置,并通过实验表明其在单细胞生物学中具有实用性。
Oct, 2023
本文介绍了一种新的基于生成对抗网络的优化输运模型,使用 $2$-Wasserstein 距离度量判别器的目标函数,证明了在训练期间,生成器沿着初始和目标分布之间的 $W_2$- 测地线走,最终重现出最优映射,在低维和高维连续设置中进行验证,并证明其在图像数据上的性能优于以前的方法。
Jun, 2019
以单一框架统一 Optimal Transport(OT)为基础的对抗方法,通过对统一框架的全面分析来阐明每个组成部分在训练动力学中的作用。我们提出了一个简单而新颖的方法,逐步改进生成分布,并逐渐与数据分布对齐。该方法在 CIFAR-10 上实现了 2.51 的 FID 得分,胜过了统一的基于 OT 的对抗方法。
Oct, 2023
本文提出了一种鲁棒性的 Optimal Transport(OT)形式,以解决数据中异常值的问题,并应用于深度学习中的 GAN 和领域适应问题,同时在实验中证明了该方法的有效性。
Oct, 2020
本文提出了一个新颖的两步方法来解决基本问题,即从一个分布学习到另一个分布的最优映射,首先我们学习一个最优传输(OT)方案,其次我们估计 Monge 映射作为一个深度神经网络,演示了我们的建议方法在域适应和生成建模方面的应用。
Nov, 2017
本文以优化传输问题为基础,研究了无监督生成建模,并使用惩罚最优传输(POT)目标来有效地最小化该问题。作者发现,AAE 中的目标与 POT for the 2-Wasserstein distance 相同,并与其他流行技术如 VAE 进行了比较。作者的理论结果包括更好地理解 VAEs 生成图像的模糊度以及建立 Wasserstein GAN 和 POT for the 1-Wasserstein distance 之间的对偶关系。
May, 2017
本文提出基于 Unbalanced Optimal Transport (UOT) 的半对偶形式构建的新型生成模型,相比于基于 OT 的方法在处理噪点,稳定性和训练收敛速度等方面表现更优。通过实验验证了该模型的性质,并研究了 UOT 之间分布差异的理论上界。实验结果显示,该模型在 CIFAR-10 和 CelebA-HQ-256 数据集上的 FID 分别为 2.97 和 5.80,优于现有基于 OT 的生成模型。
May, 2023
本文介绍了新兴的生成对抗网络 -- 优化输运生成对抗网络,提升了图像生成模型的稳定性和生成效果,主要特点是利用 adversarially learned feature space 来定义 mini-batch energy distance 度量优化目标,在多个经典 image generation benchmark test 中达到了最好的性能表现。
Mar, 2018
计算机视觉和图形领域,使用功能映射和最优传输处理非刚性形状匹配问题,采用切片沃舍尔斯坦距离作为最优传输度量,在无监督形状匹配框架中通过功能映射正则化和源自切片沃舍尔斯坦距离的最优传输损失增强形状特征对齐,同时采用熵正则化最优传输的自适应细化过程进一步提高准确的点对点对应关系,有效地处理非刚性形状匹配,包括近等度和非等度情景,并在分割转换等后续任务中表现出卓越性能。
Mar, 2024
本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取,从而实现对该目标函数的一阶优化,为一类生成对抗网络优化算法建立了理论收敛保证,且仅需要解决鉴别器问题以近似最优。该算法计算效率高,应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。
Feb, 2018