Feb, 2024
Wasserstein 近似算子描述基于评分的生成模型并解决记忆问题
Wasserstein proximal operators describe score-based generative models and resolve memorization
Benjamin J. Zhang, Siting Liu, Wuchen Li, Markos A. Katsoulakis, Stanley J. Osher
TL;DR我们着眼于得分基础生成模型（SGMs）的基本数学结构，以 Wasserstein 邻近算子（WPO）为基础进行了 SGMs 的数学形式重构，并通过均匀场博弈（MFGs）揭示出描述扩散和基于得分模型的归纳偏差的数学结构。借助 Cole-Hopf 变换和交叉熵与密度的线性功能之间的关系，我们发现 HJB 方程是一个无控制的 FP 方程。其次，基于得到的数学结构，我们提出了一个可解释的基于核函数的得分函数模型，大大提升了 SGMs 在训练样本和训练时间方面的性能。新的基于核函数的模型的数学形式与 MFG 的终端条件的使用揭示了 SGMs 的流形学习和泛化特性的新解释，并解决了它们的记忆效应问题。最后，我们提出了一种基于数学信息和可解释性的基于核函数的模型，为高维应用提供了新的可扩展的定制神经网络架构。