随机条件扩散模型用于语义图像合成

Feb, 2024

随机条件扩散模型用于语义图像合成

Stochastic Conditional Diffusion Models for Semantic Image Synthesis

Juyeon Ko, Inho Kong, Hyunwoo J. Kim

TL;DR提出了一种鲁棒的条件扩散模型，用于语义图像合成，通过标签扩散处理噪声标签，同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性，并模拟了现实应用中的人类错误情况。

Abstract

semantic image synthesis (SIS) is a task to generate realistic images corresponding to semantic maps (labels). It can be applied to diverse real-world practices such as photo editing or content creation. However, in real-world applications, SIS often encounters noisy user inputs. To ad

semantic image synthesis stochastic conditional diffusion model noisy labels label diffusion robust generation

发现论文，激发创造

面部生成的可控语义潜在扩散模型

基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

Mar, 2024

SCP-Diff: 空间 - 分类联合先验的照片级语义图像合成功能

开发了一种名为 SCP-Diff 的方法来解决语义图像合成中存在的两个主要问题，即大型语义区域内的奇怪子结构和内容与语义掩码的不一致，并在 Cityscapes 和 ADE20K 上取得了卓越成果。

Mar, 2024

面向城市场景实用语义图像合成

本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

May, 2023

IIDM：语义图像合成的图像到图像扩散模型

本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

Mar, 2024

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

基于小波的无监督标签到图像转换

本文提出了一种新的无监督学习范例 (Unsupervised Paradigm for SIS, USIS)，通过使用自监督分割损失和基于整个图像小波的鉴别方法，结合在小波域中的生成器结构，使得语义图像合成 (SIS) 在不需要大量的配对数据的情况下实现，从而弥补了配对和非配对模型之间的性能差距。在三个具有挑战性的数据集上进行测试，证明了新方法的有效性。

May, 2023

弱监督医学图像分割的条件扩散模型

本研究利用条件性传播模型中的类别信息来获取仅基于图像级注释的目标对象预测掩码，并且超越了先前的方法在两个公共医学图像分割数据集上的表现。

Jun, 2023

基于语义条件扩散网络的图像字幕生成

本文提出了一种基于 Semantic-Conditional Diffusion Networks（SCD-Net）的图像字幕生成模型，用于有效捕捉离散单词间的依赖性并实现复杂的视觉语言对齐，并采用自举序列训练策略稳定扩散过程，实验证明其在 COCO 数据集上取得了很好的表现。

Dec, 2022

SatDM：使用扩散模型进行语义布局调节的合成逼真卫星图像

利用条件 DDPM 模型生成高质量、多样化和准确的卫星图像，以及改进噪声调度、自适应归一化和自注意机制，通过算法和人类意见研究验证其在数据增强等实际应用中的有效性。

Sep, 2023

数据集扩散：基于扩散的像素级语义分割合成数据集生成

通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

Sep, 2023