Dec, 2023

平滑扩散：精心创造扩散模型中的平滑潜在空间

PDF
TL;DR最近，扩散模型在文本到图像 (T2I) 生成方面取得了显著进展，合成出高保真度和多样性内容的图像。然而，扩散模型内的潜在空间平滑性仍然很少被研究。我们通过观察到微小的潜在变化导致明显的视觉波动来揭示扩散潜在空间的非平滑性。为了解决这个问题，我们提出了 Smooth Diffusion，这是一种新类别的扩散模型，既高效又平滑。具体而言，我们引入了逐步变化规范化，以确保任意输入潜在的变化与输出图像的变化之间的比例在扩散训练的任何步骤中都是恒定的。此外，我们设计了插值标准差 (ISTD) 度量，以有效评估扩散模型的潜在空间平滑性。广泛的定量和定性实验表明，Smooth Diffusion 在 T2I 生成以及其他各种下游任务中都表现出更好的解决方案。Smooth Diffusion 作为一个即插即用的 Smooth-LoRA 与不同的社区模型配合使用。代码可在此 https 的 URL 获取。
发现论文，激发创造
  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 用扩散模型在图像之间进行插值

    通过使用潜在扩散模型进行无监督插值，我们在降噪、文本嵌入和主题姿势上实现了一致而令人信服的图像插值，而传统的数量指标如 FID 则无法准确度量插值质量。

    Jul, 2023

  • DiffMorpher：释放扩散模型在图像变形中的能力

    通过使用扩散模型，我们提出了 DiffMorpher，实现了平滑且自然的图像插值，不仅能捕捉图像的语义信息，而且在多个对象类别中实现了比以前的方法更好的图像变形效果。

    Dec, 2023

  • 潜在空间中的领域转移（DTLS）能在图像超分辨率中取得胜利 - 一种非降噪模型

    本文提出了一种简单的方法来进行高效图像超分辨率，该方法采用了扩散模型的基本结构，通过建立领域之间的转移关系，学习统计特性的差异以促进逐步插值，并通过参考输入的 LR 图像对转移领域进行条件控制，实验结果表明，该方法不仅优于最先进的大规模超分辨率模型，也优于当前的扩散模型，此方法可以方便地扩展到其他图像到图像的任务，如图像增强、修复、去噪等。

    Nov, 2023

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • NoiseDiffusion: 利用扩散模型进行图像内插的噪声补偿 —— 超越球面线性内插

    通过引入微小的高斯噪声并增加约束条件，NoiseDiffusion 方法能够改善无效噪声导致的图像插值问题，从而实现在噪声空间进行插值并解决信息丢失挑战，使得自然图像得以有效插值而不引入伪影或信息丢失，从而获得最佳插值结果。

    Mar, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 多样扩散：提升文本到图像生成中的图像多样性

    通过增加图像多样性，我们的方法有助于创造更具包容性和代表性的人工智能生成艺术。

    Oct, 2023

  • 精细的外观转换模型

    提出了一个创新性框架，通过集成语义匹配、外观转换和潜在偏差的各个方面，来达到细粒度细节的精确和自然转换，其中关键的要素是扩散模型在扩散过程的潜在空间内对预测的 x0 范围的战略使用，用于实现源图像和目标图像的语义对齐，便于改善特征获取的逐掩膜外观转换。通过广泛的实验验证了这种方法的有效性，并展示了其在广泛类别和领域中处理细粒度外观转换的能力。

    Nov, 2023

  • 潜在扩散模型的鲁棒性

    该研究通过分析内部组件对白盒健壮性的影响并评估黑盒健壮性，研究了潜在扩散模型的鲁棒性，发现文献中缺少完整的基准数据集，缺陷自动数据集构建管道可提供数据，用以发掘该模型鲁棒性。

    Jun, 2023