分析和改进扩散模型的训练动力学
我们提出了一种统一的框架来在扩散模型中实现有效的图像生成,其中搜索最佳时间步骤序列和压缩模型架构,无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程,该方法在仅使用几个时间步骤时实现了出色的性能。
Sep, 2023
我们提出了一种联合扩散模型方案,可以在不暴露本地数据的情况下独立和协作地训练扩散模型。通过对底层 UNet 骨干网的新颖利用,我们实现了在训练过程中参数交换数量的显著降低,最多可达 74%,而同时仍能保持与中心化设置相当的图像质量,依据 FID 分数评估。
Jun, 2024
提出了快速扩散模型(FDM),它将扩散模型(DM)的扩散过程从随机优化角度进行改进,以加速训练和采样。实验证明,FDM 可以应用于多种流行的 DM 框架,并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且,FDM 通过将采样步骤减少约 3 倍来实现相似的性能,从而将训练成本降低约 50%。
Jun, 2023
本文研究了图像扩散模型,如 DALL-E 2,Imagen 和 Stable Diffusion,发现它们从训练数据中记忆单个图像并在生成时发射此类图像,总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
通过综合定量分析和视觉比较,我们展示了加速自回归运动扩散模型(AAMDM)在运动质量、多样性和运行效率方面优于现有方法,并通过消融研究证明了每个算法组成部分的有效性。
Dec, 2023
扩散模型在近年来引起了广泛关注,然而其高计算成本限制了实际应用,本文通过研究发现了扩散模型的稳定性,并提出了两种训练加速策略,即课程学习的时间步骤调度和动量衰减策略。实验结果表明,这些策略可以显著减少训练时间并提高生成图像的质量。
Mar, 2024
本文采用最新的扩散模型来改善对抗训练并且在 RobustBench 上取得了最先进的性能,并且使用生成数据即可实现,达到了 70.69%和 42.67%的鲁棒准确率。
Feb, 2023
本综述主要介绍了最近视觉领域中扩散模型的进展,特别是那些影响扩散模型计算效率的重要设计方面,重点是强调了最近提出的设计选择,这些选择导致更高效的扩散模型。
Oct, 2022
扩散模型具有令人印象深刻的生成能力,但其所谓的 “曝光偏差” 问题,即训练和抽样之间的输入不匹配,缺乏深入探索。本文通过首先对抽样分布进行分析建模,然后将每个抽样步骤的预测误差归因为曝光偏差问题的根本原因,对扩散模型中的曝光偏差问题进行了系统研究。此外,我们讨论了此问题的潜在解决方案,并提出了一个直观的度量方法。除了阐明曝光偏差问题,我们还提出了一种简单但有效的无需训练的方法,称为 Epsilon Scaling,以缓解曝光偏差。我们通过缩小网络输出(Epsilon)使抽样轨迹明确地接近训练阶段学习到的向量场,减轻了训练和抽样之间的输入不匹配。针对各种扩散框架(ADM,DDPM/DDIM,LDM),无条件和有条件设置以及确定性与随机抽样的实验验证了我们方法的有效性。
Aug, 2023
通过引入一个缩放因子,适应各种尺寸和长宽比的图像,在保持视觉保真度的同时,改善了低分辨率图像上目标不完整和高分辨率图像上重复表示的问题。
Jun, 2023