Aug, 2023

DiffI2I：高效的图像 - 图像转换扩散模型

PDF
TL;DR提出了一种名为 DiffI2I 的简单、高效和强大的 I2I 扩散模型，通过引入紧凑的 I2I 先验提取网络（CPEN），动态 I2I 转换器（DI2Iformer）和去噪网络来解决了传统 DM 在某些 I2I 任务中的效率和生成能力方面的问题。通过在各种 I2I 任务上进行广泛实验证明，DiffI2I 在显著减少计算负担的同时达到了 SOTA 水平。
发现论文，激发创造
  • 面向任务的扩散模型压缩

    通过减小模型大小和减少时间步长，我们探索了基于任务的方式压缩 I2I 模型，并将其应用于图像编辑和图像修复任务，取得了满意的输出质量以及模型大小和延迟的显著减少。

    Jan, 2024

  • IIDM：语义图像合成的图像到图像扩散模型

    本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

    Mar, 2024

  • DeepI2I：通过 GAN 传递实现深层次图像到图像的翻译

    DeepI2I 为一种新的基于深度学习和层级特征的图像翻译方法，采用转移学习技术和适配器网络解决了高分辨率瓶颈和对小数据集性能较差的问题，在三个数据集上的实验结果表明可以显著提高多类别图像翻译的性能。

    Nov, 2020

  • 基于去噪扩散模型的光学图像转换：以异构变化检测为例

    介绍一种创新的基于深度学习的方法，使用去噪扩散模型将不同光学传感器的低分辨率图像转换为高分辨率图像，保留内容并避免不需要的伪影，通过大规模多样的 Sentinel-II 和 Planet Dove 图像配对数据集进行训练和测试，解决了在多传感器光学遥感图像的图像到图像转换任务中普遍使用的无分类器引导去噪扩散隐式模型（DDIM）框架所观察到的严重图像生成问题，生成具有高度一致的补丁的大型图像，包括颜色和特征，进一步展示了该方法如何改善贝鲁特，黎巴嫩和美国奥斯汀两个城市地区的异构变化检测结果，我们的贡献包括：i）基于去噪扩散模型的光学图像转换的新的训练和测试算法；ii）全面的图像质量评估和消融研究；iii）与无分类器引导 DDIM 框架的比较；和 iv）对异构数据的变化检测实验。

    Apr, 2024

  • IterInv：逐步反演像素级 T2I 模型

    大规模文本 - 图像扩散模型是生成根据输入文本提示的令人信服的图像的突破性发展。图像编辑研究的目标是通过修改文本提示来使用户对生成的图像具有控制能力。在这种情况下，迭代反转（IterInv）技术结合了流行的图像编辑方法，证明了 IterInv 的应用前景。

    Oct, 2023

  • 基于预训练 StyleGAN2 网络的无监督图像到图像的翻译

    通过在预训练的 StyleGAN2 模型上进行一系列的模型变换，我们提出了一种新的图像到图像 (I2I) 转换方法，并提出了一种反演方法，以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能，与最先进的作品相比。

    Oct, 2020

  • 探索文本到图像扩散模型的工作机制

    通过研究强潜在扩散概率模型在 T2I 生成过程中的中间状态，发现图像在早期生成阶段主要由文本引导完成，之后概率模型通过自身信息来完善生成图像的细节，并进一步提出了去除文本引导以加速 T2I 生成过程的方法，加速效果达到 25%+

    May, 2024

  • 利用扩散先验进行像素级语义预测的泛化

    使用文本到图像扩散模型，通过预先训练的模型进行像素级语义预测任务以解决领域差距，并通过确定性映射和低秩适应进行改善，得到对任意图像的准确估计，超过现有的最先进算法。

    Nov, 2023

  • S2ST：基于隐变分扩散种子空间的图像到图象翻译

    S2ST 是一个新颖的框架，用于在复杂的照片逼真图像中实现全局图像转换，如汽车场景的日夜或晴雨转换，通过利用由潜在扩散模型学习到的强大图像先验，S2ST 在改善保真度的同时保持了目标领域的外观，并超越了基于 GAN 的图像转换方法和基于扩散的方法，并值得注意的是，S2ST 免除了训练领域特定的转换网络的必要性。

    Nov, 2023

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024