扩散采样中跳过调谐的令人惊讶的有效性
通过对 U-Net 中的跳跃连接的作用进行深入研究,我们发现编码器和解码器之间聚合远距离信息的分层特征对于图像生成的内容和质量产生了重大影响。基于这一观察,我们提出了一种高效的生成调整框架 SCEdit,它使用名为 SC-Tuner 的轻量级调整模块来集成和编辑跳跃连接。此外,该框架还通过使用 Controllable SC-Tuner 注入不同条件来简化和统一多条件输入的网络设计,从而方便地扩展到可控图像合成领域。在文本到图像生成和可控图像合成任务上进行的广泛实验表明,我们的方法在效率和性能方面都优于其他方法。
Dec, 2023
通过研究 Unet 在去噪扩散概率模型中的动态行为,我们系统评估了时间步长和核心 Unet 组件对最终输出的影响,发现其中的生成阶段和 Unet 在推断中的使用模式,进而识别出改进 DDPM 中的冗余以提高推断速度,同时在输出质量方面几乎没有损失。我们的目标是为推断过程指导更明智的优化策略并影响新模型设计。
Dec, 2023
通过对 UNet 编码器的全面研究,我们发现编码器特征变化温和,而解码器特征在不同时间步长间存在显著变化。根据这一观察,我们引入了一种简单而有效的编码器传播策略,以加速各种任务的扩散抽样。此外,我们还引入了一种先验噪声注入方法来改善生成图像的纹理细节。在不使用任何知识蒸馏技术的情况下,我们的方法能够加快 Stable Diffusion(SD)和 DeepFloyd-IF 模型的抽样速度分别为 41% 和 24%,同时保持高质量的生成性能。
Dec, 2023
我们利用扩散 U-Net 的潜力,提出了一种名为 “FreeU” 的简单而有效的方法,通过重新加权 U-Net 的跳跃连接和骨干特征图的贡献,结合两个组件的优势,大大提高了生成质量。
Sep, 2023
在医学图像分割中,通过探索 U-Net 中 skip 连接的潜在弱点,我们提出了 UDTransNet 框架,使用 Dual Attention Transformer (DAT) 和 Decoder-guided Recalibration Attention (DRA) 模块来解决编码器和解码器之间的语义差距,从而提高医学图像的分割效果。
Dec, 2023
提出了一种基于全连接跳跃连接网络(FSCN)和自适应连接模块(ACM)的单目深度估计任务的深度学习模型,通过连接深度编码器与解码器的不同分辨率特征,利用深度编码器中浅层特征图的信息进行更准确的深度估计,并在 KITTI 数据集和 NYU Depth V2 数据集上实现了最优结果。
Aug, 2022
使用 U-Sketch 框架和 U-Net 潜在边缘预测器,在草图到图像合成任务中取得了更好的结果,更好地符合参考草图的空间轮廓,并大大减少所需的去噪步骤和整体执行时间。
Mar, 2024
我们提出了一种设计空间,清晰地分离具体的设计选择,从采样和训练过程以及得分网络的预处理中识别了几个变化。通过改进,我们以比之前的设计更快的采样速度(每张图像 35 个网络评估)在条件设置下获得了 1.79 FID,无条件设置下获得了 1.97 FID,达到了新的最先进水平。
Jun, 2022
通过在水下场景中使用扩散模型进行图像增强的方法,本文提出了一种方法。我们的方法利用水下图像和高斯噪声作为输入,采用条件降噪扩散概率模型生成相应的增强图像。此外,为了提高扩散模型中的反向过程的效率,我们采用了两种不同的方式。我们首先提出了一种基于轻量级 Transformer 的降噪网络,可以有效提升每次迭代的网络正向时间。另外,我们引入了一种跳跃抽样策略来减少迭代次数。此外,在跳跃抽样策略的基础上,我们提出了两种不同的非均匀抽样方法,即分段抽样和使用进化算法进行搜索。它们都是有效的,并且通过相同的步骤针对以前的均匀抽样进一步提高性能。最后,我们对最近最先进的水下增强数据集和提出的方法进行了相对评估。实验结果证明,我们的方法既能取得竞争性的性能,又具备高效性。我们的代码可在 https://github.com/piggy2009/DM_underwater 中获得。
Sep, 2023