最佳流匹配:一步学习直线轨迹
通过在整个分布层面上由扩散模型指导的耦合策略,基于直观轨迹生成(Flow Matching)的新方法 Straighter trajectories of Flow Matching (StraighFM) 实现了在在像素空间和潜在空间下的高质量样本生成。
Nov, 2023
研究了一种基于流的方法来解决优化运输问题,该方法可通过神经普通可微方程迭代地减少运输成本,同时自动维护边际约束,相对于已有的方法,该方法针对特定运输成本函数且内部减少可行耦合来减少运输成本,是一种单目标变体。
Sep, 2022
通过非简单合并数据和噪声样本的 Multisample Flow Matching 算法,我们可以在完全不需要模拟的情况下,通过一个简单的最小化目标函数构造概率路径,实现连续时间生成模型训练参数、生成高质量样本和高维传输映射等目标的综合优化。
Apr, 2023
基于动态测量输运的生成模型通过学习常微分方程或随机微分方程,将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法,通过学习潜在常微分方程的双时间流图,得到了一个高效的几步生成模型,其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比,流图匹配方法能够以显著降低的采样成本生成高质量样本。
Jun, 2024
基于连续归一化流的生成建模范例中,发现使用流匹配方法与扩散路径一起训练更具有鲁棒性和稳定性,并且可以开启使用优化运输插值定义的非扩散概率路径,该方法比传统扩散模型更适用于训练 ImageNet,并能快速生成可靠采样结果。
Oct, 2022
我们介绍了修正流 (即沿最短路径连接两个分布的神经常微分方程模型) 的概念及其在各种相关任务中的应用,它能够为生成建模和域迁移等提供统一解决方案,并且在图像生成、图像翻译和域适应方面表现出优秀的性能。
Sep, 2022
Bellman Optimal Step-size Straightening (BOSS) technique improves flow-matching generative models by optimizing step sizes, achieving efficient image sampling while adhering to a computational budget constraint, thereby bridging the gap between low-resource constraints and demanding requirements of flow-matching generative models.
Dec, 2023
Consistency Flow Matching (Consistency-FM) is a novel flow matching method that enforces self-consistency in the velocity field, achieving better sampling quality and training efficiency.
Jul, 2024
我们提出了一种新颖的知识转移框架,引入连续归一化流进行渐进知识转化,并利用多步采样策略实现精准知识传递。通过引入随机插值,我们理论上证明了 FM-KT 的训练目标相当于最小化教师特征映射或逻辑负对数似然的上界。此外,FM-KT 可以看作是一种独特的隐式集成方法,从而实现性能提升。通过对 CIFAR-100、ImageNet-1k 和 MS-COCO 数据集进行大量实验证明了我们提出的方法在相关比较方法中的可扩展性和最先进性能。
Feb, 2024