本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法,该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。
Jul, 2022
本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法,以减少推理时间,并取得了与原始模型相当的图像有效性。
Oct, 2022
Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法,通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题,并提出了有效的轻量级增强策略。
Jun, 2024
在这篇文章中,我们旨在对免训练引导的操作机制和基本限制进行深入理解。我们从优化的角度提供了支持免训练引导的理论分析,并将其与基于分类器的引导进行区分。为了阐明其缺点,我们理论上证明了免训练方法更容易受到对抗梯度的影响,并且收敛速度较慢。然后,我们介绍了一系列旨在克服这些限制的技术,并提供了理论依据和实证证据。我们在图像和运动生成方面的实验确认了这些技术的有效性。
Mar, 2024
通过提取扩散模型的指导信号以及应用自监督学习背骨(如 DINO)进行指导,我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献,取得了卓越的性能,优于大规模数据集中的相关基准比较,如 ImageNet256、ImageNet256-100 和 LSUN-Churches。
Dec, 2023
使用自身较小、较少训练的模型而不是无条件模型,引导生成图像,可以获得图像质量分离的控制,同时不减少变化量。这在 ImageNet 生成方面有显著的改进,64x64 像素的 FID 为 1.01,512x512 像素的 FID 为 1.25,使用公开可用的网络。此方法还适用于无条件扩散模型,大幅提高它们的质量。
本篇研究介绍了 self-guidance 这一新方法,通过指导扩散模型的内部表示,提供了对生成图像更强的控制力,可以从这些表示中提取对象的形状、位置和外观等属性,并使用它们来控制生成的采样,这种方法类似于分类器引导,但是不需要额外的模型或训练,作者演示了如何使用这种方法进行复杂的图像操作,如修改对象的位置或大小,合并图像中对象的外观和布局等,并证明了 self-guidance 还可以用于编辑真实图像。
Jun, 2023
本研究探讨了扩散模型在文本条件下生成图像的问题,并比较了不同的指导策略:CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性,后者更受人类评估人员的青睐,还可以进行图像修复。
Dec, 2021
我们提出了一种新的蒸馏方法,可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间,并且只需要基础模型的 1%的可训练参数,同时还能维持生成图像的视觉逼真度。
本文提出了一种可行的指导框架,称为实用插播(PPAP),该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家,每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验,证明了该方法可以成功地引导扩散,且小可训练参数和没有标记的数据。最后,通过我们的框架,我们展示了图像分类器,深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。
Dec, 2022