一步采样的连贯性模型在训练阶段中具有良好的实证效果,通过训练一系列连贯性函数,能够将扩散过程的任何时间步骤的任意点映射到其起始点,其理论基础表明,为了生成与目标分布在 ε 接近程度内的样本,连贯性学习的步骤数应超过 d^5/2/ε,其中 d 为数据维度,这一理论为连贯性模型的有效性和实用性提供了深入洞察,从而启示其在下游推理任务中的实用性。
Feb, 2024
多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法,通过增加采样步骤可以更容易地训练出高质量样本,保持了大部分采样速度的优势。
Mar, 2024
一种训练一致性模型的替代方案,通过表达常态模型轨迹的微分方程,提高训练效率,并显示出经典的幂律缩放规律。
Jun, 2024
通过在一步采样中最小化一致性训练损失来优化生成模型,提出了对抗一致性训练(ACT),通过在每一步骤使用鉴别器最小化分布间的 Jensen-Shannon 散度,从而提高了生成质量和收敛速度,这导致资源消耗大幅度减少,具有改进的 FID 分数。
Nov, 2023
本文提出了一种统计理论,将一致性模型的训练视为分布差异最小化问题,并通过使用 Wasserstein 距离,导出了与传统扩散模型相匹配的一致性模型的统计估计速率,同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。
通过提出的多项式噪声分布和基于正弦函数的课程,本研究调查了噪声分布中高低噪声水平之间的平衡,并提供了一种保持稳定性的噪声分布方法,实验证明多项式噪声分布优于对数正态噪声分布,在去噪性能方面实现了更好的成绩。
Apr, 2024
提出了一种结合了 Poisson 流一致性模型(PFCM)的后采样 Poisson 流一致性模型(PS-PFCM)的图像去噪技术,该方法能够在低剂量 CT 图像上优于当前的最优扩散样式模型,并在 CIFAR-10 数据集上提供了初步结果。
提出基于一致性约束的得分匹配方法,实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。
Feb, 2023
在这项研究中,我们提出了一种新颖而高效的技术来改善基于一致性模型生成的图像的感知质量,并利用联合分类器 - 判别器模型进行后处理,通过引导示例特定的投影梯度迭代,使合成图像更加精细,从而在 ImageNet 64x64 数据集上获得了改进的 FID 得分,适用于一致性训练和一致性蒸馏技术。
May, 2024
通过增加 Trajectory Consistency Distillation(TCD)的一组函数和策略性的随机采样的设计,可以显著提高图像生成质量,同时减少由多步一致性采样中积累的误差所致的细节不足,并且在较高的 NFEs 下相较于教师模型更加详细。