Feb, 2024

D-Flow: 通过流控制分化生成

PDF
TL;DR通过与流动匹配模型（Flow-Matching models）不再训练特定任务模型，我们引入 D-Flow，这是一个简单的框架，通过在流动过程中进行微分来控制生成过程，并优化源（噪声）点。我们验证了该框架在线性和非线性控制生成问题上的有效性，包括图像和音频逆问题以及有条件分子生成，并在所有问题上达到了最先进的性能。
发现论文，激发创造
  • DiffFlow：基于评分扩散模型和生成对抗网络的统一 SDE 框架

    建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

    Jul, 2023

  • 流动地图匹配

    基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

    Jun, 2024

  • 增强潜在扩散与流匹配

    通过将流匹配引入扩散模型和卷积解码器之间，结合扩散模型的多样性、流匹配的高效性和卷积解码器的有效性，我们实现了最先进的高分辨率图像合成。

    Dec, 2023

  • 解锁离散状态空间扩散和流动模型的指导

    在自然科学领域中，离散状态空间上的生成模型具有广泛的潜在应用。本文介绍了一种在离散状态空间模型上应用引导的通用方法，该方法依赖于在离散状态空间上利用连续时间马尔可夫过程，从而实现了从期望的引导分布中进行抽样的计算可行性。我们展示了该方法在图像、小分子、DNA 序列和蛋白质序列的引导生成等多个应用中的实用性。

    Jun, 2024

  • 神经流动扩散模型：可学习的前向过程用于改进扩散建模

    传统扩散模型通常依赖于固定的前向过程，本文引入神经流扩散模型（NFDM），通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型，实现了无需模拟的端到端优化目标，从而有效地最小化负对数似然的变分上界。实验证据显示 NFDM 具有出色的性能，表现为最先进的似然估计。此外，我们还研究了 NFDM 在学习具有特定特征的生成动态，如确定性直线轨迹方面的潜力，这一探索彰显了 NFDM 的多样性和广泛应用潜力。

    Apr, 2024

  • 通过判别器梯度流完善深度生成模型

    通过熵正则化的 f - 散度梯度流技术，可以提高生成数据的质量，避免了浪费的样本拒绝，可以应用于各种生成系统，并取得了显著的效果优于 DOT 和 DDLS 方法。

    Dec, 2020

  • 切换流匹配：通过切换 ODE 来消除奇异性

    通过使用切换的普通微分方程 (ODEs) 来消除奇点问题，我们提出了一个更通用的框架，Switched FM (SFM)，以解决连续时间生成模型中的采样速度缓慢的问题，并演示了该框架的有效性。

    May, 2024

  • 离散状态空间上的生成流：实现多模态流与蛋白质协同设计应用

    通过离散流模型（DFMs）实现了流模型在多模态连续与离散数据问题上的应用，利用连续时间马尔可夫链实现了离散空间流匹配，进一步改进了基于扩散的方法，成功构建了多模态流建模框架，并应用于蛋白质共设计任务，取得了最先进的共设计性能，同时能灵活生成序列或结构。

    Feb, 2024

  • 扩散正规流

    本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE：一个前向 SDE 和一个后向 SDE，通过联合训练两个神经 SDE，将后向 SDE 收敛于一种扩散过程，从而具备更好的高维数据密度估计和图像生成性能。

    Oct, 2021

  • 生成建模中的流匹配

    基于连续归一化流的生成建模范例中，发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性，并且可以开启使用优化运输插值定义的非扩散概率路径，该方法比传统扩散模型更适用于训练 ImageNet，并能快速生成可靠采样结果。

    Oct, 2022