扩展流匹配:一种具有广义连续方程的条件生成方法
基于动态测量输运的生成模型通过学习常微分方程或随机微分方程,将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法,通过学习潜在常微分方程的双时间流图,得到了一个高效的几步生成模型,其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比,流图匹配方法能够以显著降低的采样成本生成高质量样本。
Jun, 2024
基于连续归一化流的生成建模范例中,发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性,并且可以开启使用优化运输插值定义的非扩散概率路径,该方法比传统扩散模型更适用于训练 ImageNet,并能快速生成可靠采样结果。
Oct, 2022
本文提出了一种在预训练自编码器的潜在空间中应用流匹配的方法,以实现高分辨率图像合成的计算效率和可扩展性的提高,并将各种条件集成到流匹配中进行条件式生成任务,包括标签条件下的图像生成、图像修复和语义到图像的生成。通过大量实验,本方法在各种数据集上均具有定量和定性的有效性,并提供了重构潜在流分布与真实数据分布之间 Wasserstein-2 距离的理论控制。
Jul, 2023
Fisher-Flow 是一种用于离散数据生成建模的新型流匹配模型,采用几何学观点,将离散数据视为在统计流形上的点,通过转移沿 $d$- 超球面上的(闭合形式)测地线上的质量来定义流,可以优化训练动力学,提高性能,并在合成和实际基因序列设计等多个领域中优于传统扩散和匹配模型。
May, 2024
给出了一种最小化标准流失函数的向量场精确公式,该公式在给定的分布 ρ₀和未知分布 ρ₁的基础上进行了分析,并提出了一种新的损失函数和算法。与标准条件流匹配方法相比,通过蒙特卡罗采样方法评估时,我们的损失函数表现出较小的方差。通过对合成模型和大维度表格数据模型的数值实验证明了使用该算法能够获得更好的学习结果。
Feb, 2024
本文提出一种功能流匹配(FFM)方法,是一种在无限维空间中直接操作的功能空间生成模型,通过定义概率量的路径,学习函数空间中的向量场来产生这些概率量的路径,而不依赖于似然度或模拟,经过实验评估表明,该方法优于其他具有相似功能的生成模型。
May, 2023
该论文讨论了流匹配在 $p$-Wasserstein 距离方面的收敛性质,通过研究一类更广泛的向量场的均值和方差函数,确定实现这些最优速率所必需的特定条件,并且证明了流匹配能够达到与扩散模型相当的收敛速率,从而为流匹配作为一种无需模拟的生成模型提供了第一条理论证据。
May, 2024
利用流匹配作为替代现有的基于扩散的布局生成模型的方法,我们提出了一种名为 LayoutFlow 的高效基于流的模型,用于生成高质量的布局。通过逐渐移动或流动初始样本的元素直到达到最终预测,我们的方法学习替代了逐步去噪噪声布局的元素。此外,我们采用了一种条件方案,可以使用单个模型处理具有不同程度条件的各种生成任务。在经验上,LayoutFlow 与最先进的模型性能相当,同时速度显著提高。
Mar, 2024