图像嵌入用于去噪生成模型

Dec, 2022

Image Embedding for Denoising Generative Models

Andrea Asperti, Davide Evangelista, Samuele Marro, Fabio Merizzi

TL;DR本文探讨了如何在 Denoising Diffusion Models 的 latent space 中嵌入图像，实现对噪声图像的去噪，并发现了该类生成模型中 latent representation 独立于反扩散过程网络实现的网络结构。

Abstract

denoising diffusion models are gaining increasing popularity in the field of generative modeling for several reasons, including the simple and stable training, the excellent generative quality, and the solid prob

denoising diffusion models generative modeling latent space probabilistic foundation image embedding

发现论文，激发创造

通过自适应嵌入和集成激发图像去噪扩散模型

图像降噪是计算摄影中的一个基本问题，要求在低畸变的情况下实现高质量的感知性能。最近，新兴的扩散模型在各种任务中实现了最先进的性能，在图像降噪方面显示了巨大的潜力。然而，为图像降噪刺激扩散模型并不直接，需要解决几个关键问题。我们提出了一种名为 “图像降噪扩散模型（DMID）” 的新策略，通过从降噪的角度理解和重新思考扩散模型来解决这些问题。我们的 DMID 策略在所有基于畸变和感知度量的高斯和真实图像降噪任务中实现了最先进的性能。

Jul, 2023

使用潜在扩散模型进行高分辨率图像合成

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

基于扩散模型的标签效率语义分割

本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

Dec, 2021

增强扩散模型的可控性

该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

Feb, 2023

扩散模型在图像分类上胜过 GAN

本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

Jul, 2023

视觉中的扩散模型：一项调研

本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

Sep, 2022

从去噪扩散隐式模型的潜空间中生成新的桥梁类型的尝试

利用去噪扩散隐式模型进行桥梁创新，通过图像加噪和去噪的过程，以尸体腐烂和侦探恢复被杀害受害者现场的过程为比喻，通过易于理解的代数方法，推导出加噪和去噪的函数公式，使初学者更容易掌握该模型的数学原理。基于 Python 编程语言、TensorFlow 和 Keras 深度学习平台框架，构建和训练了对称结构的图像数据集，模型可以从潜在空间采样生成具有非对称结构的新的桥梁类型，可以有机地结合不同的结构部件在人类原始桥梁类型的基础上创造新的桥梁类型。

Feb, 2024

基于扩散模型的图像编辑：一项综述

调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

Feb, 2024

扩散模型实现实际噪声抑制

本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

May, 2023

利用有损扩散模型增强图像布局控制

扩散模型为一种强大的生成模型，能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容，然而，仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制，而这取决于初始噪声分布。本文探讨了两种改进方法，并演示了当这两种方法结合使用时可以获得更好的性能。

May, 2024