Nov, 2023

探索利用扩散引导的流匹配的更直接轨迹

PDF
TL;DR通过在整个分布层面上由扩散模型指导的耦合策略，基于直观轨迹生成（Flow Matching）的新方法 Straighter trajectories of Flow Matching (StraighFM) 实现了在在像素空间和潜在空间下的高质量样本生成。
flow matchinggenerative modelstraightfmtrajectoriesdiffusion model
发现论文，激发创造
  • 多样本流匹配：用小批量耦合直线化流

    通过非简单合并数据和噪声样本的 Multisample Flow Matching 算法，我们可以在完全不需要模拟的情况下，通过一个简单的最小化目标函数构造概率路径，实现连续时间生成模型训练参数、生成高质量样本和高维传输映射等目标的综合优化。

    Apr, 2023

  • 最佳流匹配：一步学习直线轨迹

    发展流匹配方法用于生成模型，追求流的直线轨迹，实现最优输运位移；文章提出一种新颖的最优流匹配方法，在一步流匹配中恢复二次成本下的直线输运位移。

    Mar, 2024

  • 生成建模中的流匹配

    基于连续归一化流的生成建模范例中，发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性，并且可以开启使用优化运输插值定义的非扩散概率路径，该方法比传统扩散模型更适用于训练 ImageNet，并能快速生成可靠采样结果。

    Oct, 2022

  • 生成模型的顺序流匹配

    SeqRF 是一种学习技术，通过改善概率流的直线性来减少全局截断误差，加速采样并提高合成质量。在理论和实证研究中，我们观察到了 SeqRF 的直线性属性，并通过 SeqRF 在基于流模型的生成模型上进行的实证评估，在 CIFAR-10、CelebA-$64 imes 64$ 和 LSUN-Church 数据集上取得了优异的结果。

    Feb, 2024

  • 精确知识传递通过流匹配

    我们提出了一种新颖的知识转移框架，引入连续归一化流进行渐进知识转化，并利用多步采样策略实现精准知识传递。通过引入随机插值，我们理论上证明了 FM-KT 的训练目标相当于最小化教师特征映射或逻辑负对数似然的上界。此外，FM-KT 可以看作是一种独特的隐式集成方法，从而实现性能提升。通过对 CIFAR-100、ImageNet-1k 和 MS-COCO 数据集进行大量实验证明了我们提出的方法在相关比较方法中的可扩展性和最先进性能。

    Feb, 2024

  • 流动地图匹配

    基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

    Jun, 2024

  • 引导式流生成建模与决策

    使用非分类器引导的流匹配模型在条件图像生成和语音合成方面显著改善了样本质量，而且在计算量极低的情况下不会影响智能体的总体性能。

    Nov, 2023

  • 一致性流匹配：通过速度一致性定义直线流

    Consistency Flow Matching (Consistency-FM) is a novel flow matching method that enforces self-consistency in the velocity field, achieving better sampling quality and training efficiency.

    Jul, 2024

  • 增强潜在扩散与流匹配

    通过将流匹配引入扩散模型和卷积解码器之间，结合扩散模型的多样性、流匹配的高效性和卷积解码器的有效性，我们实现了最先进的高分辨率图像合成。

    Dec, 2023

  • 流匹配实现最小极大均衡收敛

    该论文讨论了流匹配在 $p$-Wasserstein 距离方面的收敛性质，通过研究一类更广泛的向量场的均值和方差函数，确定实现这些最优速率所必需的特定条件，并且证明了流匹配能够达到与扩散模型相当的收敛速率，从而为流匹配作为一种无需模拟的生成模型提供了第一条理论证据。

    May, 2024