联合征服：使用扩散模型的即插即用多模态合成

CVPRDec, 2022

联合征服：使用扩散模型的即插即用多模态合成

Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models

Nithin Gopalakrishnan Nair, Wele Gedara Chaminda Bandara, Vishal M. Patel

TL;DR本文研究了使用扩散模型生成图片以满足多种限制条件的问题。我们提出了一种基于去噪扩散概率模型的解决方案，该方法能够统一多个扩散模型，并引入一种新的可靠性参数，使得可以在采样时仅使用不同数据集上训练的现成模型来指导并满足多种限制条件的任务。该方法在多种标准的多模态任务上表现出了有效性。

Abstract

Generating photos satisfying multiple constraints find broad utility in the content creation industry. A key hurdle to accomplishing this task is the need for paired data consisting of all modalities (i.e., constraints) and their corresponding output. Moreover, existing methods need retraining using paired data across all modalities to introduce a new condit

generative models multimodal constraints diffusion models sampling strategy reliability parameter

发现论文，激发创造

DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

Jun, 2023

多模态人脸生成与编辑的协同扩散

本文提出了一种名为 Collaborative Diffusion 的模型，在不需要重新训练的情况下，利用多种单一模态扩展固有的单一模态扩散模型以实现多模态人脸生成和编辑。

Apr, 2023

UNIT-DDPM: 带去噪扩散概率模型的非配对图像翻译

提出一种新颖的无需对抗训练的图像分类方法，该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型，并通过基于 Langevin 动力学的去噪马尔科夫链蒙特卡罗方法来生成目标域图像。该方法在几个公共数据集上实现了最先进的 Frechet Inception Distance（FID）性能，包括彩色和多光谱影像，并明显优于当前的对抗图像转换方法。

Apr, 2021

通过扩散模型实现语义图像合成

本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

Jun, 2022

基于扩散的图像修复统一条件框架

本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

May, 2023

跨模态音乐和图像生成的离散对比扩散

通过提高输入与输出的互信息，利用条件离散对比扩散 (CDCD) 损失和两种对比扩散机制，将对比学习和传统变分目标相结合，我们成功地提高了多模式条件综合生成模型的输入输出对应性并取得了良好的结果。

Jun, 2022

改进降噪扩散概率模型

通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

Feb, 2021

MM-Diffusion：学习多模态扩散模型用于联合音频和视频生成

本文介绍了一种基于 Multi-Modal Diffusion 模型，利用两个耦合的自编码器进行序列多模态非线性去噪，提出了一种随机平移注意力块用于跨模态对齐，以实现音视频帧的生成并提高音视频质量

Dec, 2022

利用共享表示优化去噪扩散概率模型

本研究提出一种名为 SR-DDPM 的新方法，通过利用少样本表示学习技术，解决面临有限数据的多任务图像生成挑战，以提高图像质量，并在标准图像数据集上对其进行评估，发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。

Nov, 2023

基于周期引导的去噪扩散概率模型用于 3D 交叉模态 MRI 合成

该研究旨在发展一种新型的循环引导去噪扩散概率模型（Cycle-guided Denoising Diffusion Probability Model，CG-DDPM），用于跨模态 MRI 合成，并使用 BraTS2020 数据集定量评估。该方法在 MRI 合成中具有很高的准确性，并与几种现有最先进的网络进行了比较，证明了合成 MRIs 的图像质量的显著改进。该方法增强了当前多模态 MRI 合成方法的能力，为患者的更精确诊断和更好的治疗规划做出贡献。

Apr, 2023