在这项研究中,我们提出了一种新颖而高效的技术来改善基于一致性模型生成的图像的感知质量,并利用联合分类器 - 判别器模型进行后处理,通过引导示例特定的投影梯度迭代,使合成图像更加精细,从而在 ImageNet 64x64 数据集上获得了改进的 FID 得分,适用于一致性训练和一致性蒸馏技术。
May, 2024
一步采样的连贯性模型在训练阶段中具有良好的实证效果,通过训练一系列连贯性函数,能够将扩散过程的任何时间步骤的任意点映射到其起始点,其理论基础表明,为了生成与目标分布在 ε 接近程度内的样本,连贯性学习的步骤数应超过 d^5/2/ε,其中 d 为数据维度,这一理论为连贯性模型的有效性和实用性提供了深入洞察,从而启示其在下游推理任务中的实用性。
Feb, 2024
一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法,通过改进的一致性训练技术,该研究提出了克服预训练模型局限性以及避免评估偏差的方法,并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。
Oct, 2023
本文提出了一种统计理论,将一致性模型的训练视为分布差异最小化问题,并通过使用 Wasserstein 距离,导出了与传统扩散模型相匹配的一致性模型的统计估计速率,同时揭示了一致性模型通过蒸馏和隔离方法进行训练的优势。
Jun, 2024
針對文本到圖像擴散模型中的一致性生成的挑戰,提出了一種輕量級但複雜的引導方法,通過引入後驗樣本來引導去噪軌跡向目標集群集中,並設計輔助組件來同時增強調整過程和規範推理,以提高生成圖像的內容多樣性。綜合實驗結果顯示,該方法在角色一致性、提示一致性和圖像質量方面都優於基線方法,並且比基於調整的基線方法至少快 4 倍。此外,首次證明語義空間具有與潛在空間相同的插值特性,可作為另一種精細生成控制的有希望工具。
Apr, 2024
多步一致性模型是一种介于一致性模型和扩散模型之间的统一方法,通过增加采样步骤可以更容易地训练出高质量样本,保持了大部分采样速度的优势。
Mar, 2024
通过集成随机微分方程求解器到一致性蒸馏中,提出并验证了 Stochastic Consistency Distillation (SCott) 方法,该方法能够加快文本到图像生成的过程,并且在稳定扩散 - V1.5 模型上,表现优于其他模型在 MSCOCO-2017 5K 数据集上的生成结果。
通过添加离散噪音的扰动方法,可以更有效地将模型的决策边界推向具有抵抗干扰能力的点,并在半监督文本分类任务和鲁棒性基准测试中,优于其他基于文本编辑、释义或连续噪音的一致性训练基线方法。
Apr, 2021
一种训练一致性模型的替代方案,通过表达常态模型轨迹的微分方程,提高训练效率,并显示出经典的幂律缩放规律。
通过增加 Trajectory Consistency Distillation(TCD)的一组函数和策略性的随机采样的设计,可以显著提高图像生成质量,同时减少由多步一致性采样中积累的误差所致的细节不足,并且在较高的 NFEs 下相较于教师模型更加详细。