改进校正流的训练
我们介绍了修正流 (即沿最短路径连接两个分布的神经常微分方程模型) 的概念及其在各种相关任务中的应用,它能够为生成建模和域迁移等提供统一解决方案,并且在图像生成、图像翻译和域适应方面表现出优秀的性能。
Sep, 2022
透过使用 Rectified Flow 方法,本论文将 Stable Diffusion (SD) 转变为一步模型,创造了首个具有 SD 水平图像质量的逐步扩散型文本到图像生成器 InstaFlow,并大幅超越先前的最先进技术 progressive distillation。
Sep, 2023
大规模扩散模型在生成任务中取得了显著的性能。矫正流是一种新的生成模型类别,在各个领域展现出了优越的性能。通过理论和实验证据,我们展示了基于矫正流的方法与扩散模型具有相似的功能,可以作为有效的先验。此外,基于矫正流的先验方法在图像反转方面表现出优越的性能。
Jun, 2024
对于高维感知数据,扩散模型生成通过将数据从噪声逆向转换而得,并已成为一种强大的生成建模技术。最近,矫正流是一种将数据和噪声连接在一条直线上的生成模型表达形式。本研究通过偏向感知相关尺度来改进现有的噪声采样技术,以训练矫正流模型。通过大规模研究,我们证明了这种方法相对于已有的扩散公式在高分辨率文本到图像合成方面的优越性能。此外,我们提出了一种基于 Transformer 的文本到图像生成架构,该架构利用了两种模态的不同权重,并实现了图像和文本记号之间的双向信息流,从而改善了文本理解、排版和人体偏好评级。我们证明了这种架构遵循可预测的扩展趋势,并通过各种度量标准和人体评估来证实验证损失越低,文本到图像合成越好。我们的最大模型超过了现有的最先进模型,我们将公开我们的实验数据、代码和模型权重。
Mar, 2024
FlowIE 是一个基于流的简单而高效的图像增强框架,通过估计直线路径从一个分布到高质量图像,使用条件矫正流构建线性的一对多传输映射,加速推断,实现对预训练扩散模型丰富知识的充分利用,同时还设计了一种更快的推断算法,通过使用中点切线方向来优化路径估计,取得更优的视觉效果。经过综合实验对合成和真实数据集的严格验证,展示了 FlowIE 的显著功效和高效性。
Jun, 2024
Language Rectified Flow 是一种基于标准概率流模型改进的方法,通过学习(神经)常微分方程模型在源分布和目标分布之间进行转换,提供了生成建模和领域转换的统一有效解决方案。实验证明该方法在多个 NLP 任务中能够持续优于其基准方法,显示出普适性、有效性和益处。
Mar, 2024
在流体动力学中使用机器学习越来越普遍,为了加快解决偏微分方程的正反问题的计算。然而,现有基于卷积神经网络(CNN)的数据保真增强方法面临一个显著挑战,即在训练阶段依赖于特定低保真数据模式和分布。引入扩散模型在这个背景下展示了提高性能和可泛化性的潜力。我们提出的模型 —— 物理启发的残差扩散,展示了从标准低保真输入、注入高斯噪声的低保真输入以及随机采集样本中提升数据质量的能力。通过将基于物理的见解整合到目标函数中,进一步提高了推断得到的高质量数据的准确性和保真性。实验结果表明,我们的方法能够在不需要重新训练的情况下,有效地重建来自各种低保真输入条件中的二维湍流的高质量结果。
Apr, 2024
基于分段线性流的 Piecewise Rectified Flow (PeRFlow) 方法通过将采样过程分为多个时间窗口并在每个时间间隔内通过 reflow 操作直线化轨迹的方式加速扩散模型,取得了优越性能,在少量步骤的生成方面表现出色。此外,通过专用参数化,所得到的 PeRFlow 模型具有有利的传递能力,可作为通用的即插即用加速器与基于预训练扩散模型的各种工作流兼容。训练和推理的实现完全开源。
May, 2024
基于扩散的统一框架(SemFlow)将语义分割和语义图像合成作为一对相反问题,通过训练一个常微分方程(ODE)模型在真实图像和语义掩码的分布之间进行传输,解决了扩散输出的随机性与分割结果唯一性之间的矛盾,同时提升生成结果的多样性,该框架在语义分割和语义图像合成任务上取得了有竞争力的结果,希望能激发人们重新思考低级和高级视觉的统一。
May, 2024
SeqRF 是一种学习技术,通过改善概率流的直线性来减少全局截断误差,加速采样并提高合成质量。在理论和实证研究中,我们观察到了 SeqRF 的直线性属性,并通过 SeqRF 在基于流模型的生成模型上进行的实证评估,在 CIFAR-10、CelebA-$64 imes 64$ 和 LSUN-Church 数据集上取得了优异的结果。
Feb, 2024