基于最优传输的条件采样生成流
本研究提出了一种基于梯度流的、无需参数的算法,用于学习复杂数据集的潜在分布和从中进行抽样。该算法是建立在隐式生成建模 (IGM) 与最优输运之间的联系理论基础上,并通过泛函优化问题的方式得以实现。通过梯度流和随机微分方程的联系,该算法既能高效地解决优化问题,还提供了理论分析和有限时间误差保证。实验结果表明,该算法能够成功地捕捉不同类型的数据分布结构。
Jun, 2018
本文介绍了一种新的基于生成对抗网络的优化输运模型,使用$2$-Wasserstein距离度量判别器的目标函数,证明了在训练期间,生成器沿着初始和目标分布之间的$W_2$-测地线走,最终重现出最优映射,在低维和高维连续设置中进行验证,并证明其在图像数据上的性能优于以前的方法。
Jun, 2019
本文提出基于Unbalanced Optimal Transport(UOT)的半对偶形式构建的新型生成模型,相比于基于OT的方法在处理噪点,稳定性和训练收敛速度等方面表现更优。通过实验验证了该模型的性质,并研究了UOT之间分布差异的理论上界。实验结果显示,该模型在CIFAR-10和CelebA-HQ-256数据集上的FID分别为2.97和5.80,优于现有基于OT的生成模型。
May, 2023
我们提出了两种神经网络方法来近似求解静态和动态条件优化传输问题(COT),这两种方法能够对条件概率分布进行抽样和密度估计,在贝叶斯推断中是核心任务。我们的方法将目标条件分布表示为可处理的参考分布的转换,因此属于测度传输框架。这些方法利用了COT问题的静态和动态公式的结构,通过神经网络来参数化COT映射以提高可扩展性。我们通过使用基准数据集和贝叶斯反问题将其与最先进的方法进行比较,证明了它们的有效性和效率。
Oct, 2023
我们介绍了一种基于常微分方程(ODE)的深度生成方法,称为条件Follmer流。该方法能够将标准高斯分布有效地转换为目标条件分布。在实现上,我们使用欧拉方法离散化流,并使用深度神经网络非参数地估计速度场。此外,我们推导出学习样本分布与目标分布之间的Wasserstein距离的非渐近收敛速率,为通过ODE流进行条件分布学习提供了首个全面的端到端误差分析。我们的数值实验展示了其在一系列场景中的有效性,从标准的非参数条件密度估计问题到涉及图像数据的更复杂挑战,证明了它在各种现有条件密度估计方法上的优势。
Feb, 2024
我们研究了条件最优传输的几何性质并证明了一种推广了Benamou-Brenier定理的动力学表述。利用这些工具,我们提出了一种无需模拟的基于流的条件生成建模方法。我们的方法通过三角形条件最优传输方案将任意源分布与指定目标分布相耦合。我们借鉴流匹配的框架,通过近似由该条件最优传输方案诱导的测度测地线路径来训练条件生成模型。我们的理论和方法可在无限维设置中应用,非常适用于逆问题。在实证方面,我们将我们提出的方法应用于两个图像转换任务和一个无限维贝叶斯逆问题。
Apr, 2024
学习条件分布是具有挑战性的,因为所需的结果不是单个分布,而是与协变量的多个实例对应的多个分布。我们引入一种新颖的神经自由最优输运方法,旨在有效地学习条件分布的生成模型,特别是在样本量有限的情况下。我们的方法依赖于两个神经网络的极小极大训练:一个生成网络参数化条件分布的逆累积分布函数,另一个网络参数化条件Kantorovich势。为防止过拟合,我们通过惩罚网络输出的Lipschitz常数来正则化目标函数。我们在真实数据集上的实验结果显示了我们的算法相对于最先进的条件分布学习技术的有效性。我们的实现可以在https URL找到。
Jun, 2024
本研究解决了在生成扩散模型中条件采样的关键问题,尤其是如何从条件分布中进行采样。文章提出了一种全面的计算方法综述,强调通过利用联合分布或依赖(预训练的)边际分布以显式似然构建条件生成采样器。这种新方法对于扩展生成扩散模型在贝叶斯逆问题中的应用潜力巨大。
Sep, 2024
本研究解决了从高维多模态分布中采样的挑战,提出了退火流(AF)模型,这是一种基于连续标准化流的方法。AF通过一个连续标准化流传输图学习,能够有效探索高维空间中的模式,确保在样本大小和维度上的线性复杂度,展示了其在各种复杂分布和现实数据集上的强大性能。
Sep, 2024