Dreamguider:改进的无需训练扩散式条件生成
在这篇文章中,我们旨在对免训练引导的操作机制和基本限制进行深入理解。我们从优化的角度提供了支持免训练引导的理论分析,并将其与基于分类器的引导进行区分。为了阐明其缺点,我们理论上证明了免训练方法更容易受到对抗梯度的影响,并且收敛速度较慢。然后,我们介绍了一系列旨在克服这些限制的技术,并提供了理论依据和实证证据。我们在图像和运动生成方面的实验确认了这些技术的有效性。
Mar, 2024
通过提取扩散模型的指导信号以及应用自监督学习背骨(如 DINO)进行指导,我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献,取得了卓越的性能,优于大规模数据集中的相关基准比较,如 ImageNet256、ImageNet256-100 和 LSUN-Churches。
Dec, 2023
在本文中,我们提出了独立条件引导(ICG)和时间步引导(TSG)这两种新的引导方法来简化条件扩散模型的训练过程,并且在任何已训练的条件模型上进行推理以提供与标准分类器无关的指导方法。通过大量实验证明,ICG 与标准分类器在不同条件扩散模型上的性能相匹配,并且 TSG 可以在不依赖任何条件信息的情况下改善生成的质量。
Jul, 2024
提出了 Manifold Preserving Guided Diffusion (MPGD),实现了一种无需训练的条件生成框架,利用预训练扩散模型和现成的神经网络,具有最小的附加推断成本,适用于各种条件生成应用,提供了高样本品质和高达 3.8 倍的速度提升。
Nov, 2023
本文提出了一种可行的指导框架,称为实用插播(PPAP),该框架利用参数高效的微调和不需要标记的数据传输来利用多个专家,每个专家都专门针对特定噪音范围并指导扩散的反转过程。通过图像类别有条件的生成实验,证明了该方法可以成功地引导扩散,且小可训练参数和没有标记的数据。最后,通过我们的框架,我们展示了图像分类器,深度估计器和语义分割模型可以以插播的方式指导公开可用的 GLIDE。
Dec, 2022
我们提出了一种利用费舍尔信息引导的扩散模型 (FIGD),通过引入费舍尔信息来估计梯度,以减少计算成本,并确保 FIGD 的泛化性,为基于信息论的无训练方法提供新的训练思路。实验结果表明,FIGD 能够更快地实现不同条件图像的生成而保持高质量。
Apr, 2024