Sep, 2023

DeeDiff: 动态不确定性感知的早期退出加速扩散模型生成

PDF
TL;DR我们提出了 DeeDiff，这是一个适应性地分配计算资源的早期退出框架，用于提高扩散模型的生成效率。通过引入基于时间步长的不确定性估计模块（UEM），我们的模型能够根据不同层的预测不确定性来决定推断的终止。通过使用基于不确定性的逐层损失策略，我们的模型能够获得与全模型相媲美的结果。在多个数据集上进行的实验表明，我们的方法在扩散模型上实现了最先进的性能和效率平衡，并且对于 CIFAR-10 和 Celeb-A 数据集甚至带来了额外的收益。
diffusion modelsearly exiting frameworkcomputation resourcesuncertainty estimation moduleefficiency trade-off
发现论文，激发创造
  • BayesDiff: 基于贝叶斯推理估算扩散的逐像素不确定性

    基于贝叶斯推理的像素级不确定性估计器 BayesDiff 用于扩散模型的图像生成，具有过滤低保真图像、增强成功生成和纠正失败生成中的伪影的能力。

    Oct, 2023

  • DifFlow3D：基于扩散模型的稳健不确定性感知场景流估计

    基于扩散概率模型的新型不确定性感知场景流估计网络 (DifFlow3D) 提出，具有卓越性能，在 FlyingThings3D 和 KITTI 2015 数据集上分别降低了 6.7％和 19.1％的 EPE3D，且在 KITTI 数据集上实现了前所未有的毫米级准确度 (0.0089m 的 EPE3D)。扩散式精炼范式可作为即插即用模块集成到现有场景流网络中，显著提高其估计准确性。

    Nov, 2023

  • 揭示大型生成网络的光芒：扩散模型中估计认识不确定性

    Diffusion Ensembles for Capturing Uncertainty (DECU) is an innovative framework designed to estimate epistemic uncertainty in generative diffusion models by efficiently training ensembles of conditional diffusion models with a static set of pre-trained parameters and employing Pairwise-Distance Estimators (PaiDEs) to accurately measure epistemic uncertainty in high-dimensional spaces.

    Jun, 2024

  • 通过多阶段框架和定制的多解码器结构提高扩散模型的效率

    通过多阶段框架和多解码器 U-net 架构，我们提出了一种增强扩散模型训练和采样效率的方案，通过定制每个时间步长的不同参数，同时保留所有时间步长共享的通用参数，有效地分配计算资源并减轻阶段间干扰。

    Dec, 2023

  • 超扩散：利用单一模型估计认知和随机不确定性

    通过训练和样本采集大量扩散模型的集合来准确估计表观不确定性（可以通过更多的训练数据来减少的不确定性）和内在不确定性（与手头任务相关的不确定性）在将机器学习（ML）应用于医学影像和天气预报等高风险应用的过程中至关重要。而在模型架构复杂性增加时，训练这样的集合变得计算上难以处理。本论文介绍了一种新的集合方法，称为超扩散，它允许使用单个模型准确估计表观和内在不确定性。不同于现有的基于蒙特卡洛 dropout 的单模型集合方法，超扩散提供了与多模型集合相同的预测准确性。我们在两个不同的任务上验证了我们的方法：X 射线计算机断层扫描（CT）重建和天气温度预测。

    Feb, 2024

  • 超越 U：打造更快速、更轻量级的扩散模型

    利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。

    Oct, 2023

  • DeepCache：加速扩散模型的自由之选

    Diffusion models have gained attention in image synthesis, and this paper introduces DeepCache, a training-free paradigm that accelerates diffusion models by capitalizing on temporal redundancy in denoising steps and achieving a speedup factor of 2.3x for Stable Diffusion v1.5 and 4.1x for LDM-4-G without significant decline in CLIP Score or FID on ImageNet.

    Dec, 2023

  • AutoDiffusion：无需训练的自动扩散模型加速的时间步长和架构优化

    我们提出了一种统一的框架来在扩散模型中实现有效的图像生成，其中搜索最佳时间步骤序列和压缩模型架构，无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程，该方法在仅使用几个时间步骤时实现了出色的性能。

    Sep, 2023

  • CutDiffusion: 一个简单、快速、廉价且强大的扩散外推方法

    以简单、快速的扩散外推过程为目标，我们提出了无需调优的 CutDiffusion 方法，通过修剪标准的扩散过程，将其划分为综合结构去噪的初始阶段和专注于具体细节修饰的后续阶段，从而提高了扩散适应性，同时降低时间和成本开销。

    Apr, 2024

  • 幼儿扩散：快速可解释可控扩散模型

    ToddlerDiffusion 是一种可解释的 2D 扩散图像合成框架，受到人类生成系统的启发，它将生成过程分解成简单且可解释的阶段，生成轮廓、调色板和详细彩色图像，不仅提高了整体性能，还实现了强大的编辑和交互能力。通过在像 LSUN-Churches 和 COCO 这样的数据集上进行广泛实验验证，我们的方法始终优于现有方法。ToddlerDiffusion 在 LSUN-Churches 上与 LDM 性能相匹配，同时以三倍速且架构大小减少 3.76 倍的速度运行。附加材料中提供了我们的源代码，并将公开访问。

    Nov, 2023