Jun, 2024
通过最小化 Wasserstein-2 损失进行生成建模
Generative Modeling by Minimizing the Wasserstein-2 Loss
Yu-Jui Huang, Zachariah Malik
TL;DR通过最小化二阶 Wasserstein 损失（即 $W_2$ 损失），该论文处理无监督学习问题。论文证明了方式一通过分布相关的常微分方程（ODE）动力学的超限势潜力近似估计当前分布与真实数据分布之间的关系。主要结果显示 ODE 的时变边界概率收敛到真实数据分布。为了证明 ODE 具有唯一解，首先明确构造了与关联的非线性 Fokker-Planck 方程相关的解，并证明它与 $W_2$ 损失的唯一梯度流相吻合。基于此，通过 Trevisan 的叠加原理和指数收敛结果，构建了 ODE 的唯一解。该论文提出了一个分布相关 ODE 的欧拉方案，并在极限情况下正确恢复了 $W_2$ 损失的梯度流。通过遵循该方案和应用持久训练，设计了一个算法，其自然地适用于梯度流框架。在低维和高维实验中，我们的算法通过适当增加持久训练水平，比 Wasserstein 生成对抗网络收敛更快且性能更好。