Dec, 2023

Diffusion-C: 通过损坏数据揭示扩散模型的生成挑战

PDF
TL;DR使用 Diffusion-C 方法分析 Diffusion Models 的生成限制，通过对经过各种腐败方式和强度处理的输入视觉数据的使用，阐明了这些 Diffusion Models 的性能特征，并探讨了影响深度学习系统机制的噪声成分的重要性。
diffusion-cgenerative modelsdiffusion modelscorruption frameworksperformance metrics
发现论文，激发创造
  • 少样本微调中扩散模型的破坏阶段研究及贝叶斯神经网络的缓解

    少样本微调的扩散模型存在训练过程中的图像质量退化现象，通过使用贝叶斯神经网络来解决这一问题，可以有效改善生成图像的质量和多样性。

    May, 2024

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021

  • 环境扩散：从损坏的数据中学习干净的分布

    介绍了一种基于扩散的框架，可以使用高度损坏的样本学习未知分布，通过在扩散过程中引入附加的测量损坏，并要求模型从进一步损坏的图像中预测原始损坏的图像，来学习完整未损坏图像的条件期望。

    May, 2023

  • 异形山谷：扩散模型的全面分析

    通过扩散模型（Diffusion Models），我们在生成高质量图像方面取得了重要进展，通过系统研究不同扩散模型架构的关键方面，如噪声调度、采样器和引导，我们深入探索了这些模型的核心操作原理。通过全面分析这些模型，我们揭示了它们隐藏的基础机制，揭示了对其有效性至关重要的隐藏关键因素。我们的分析强调了决定模型性能的隐藏关键因素，为扩散模型的发展提供了见解。

    Feb, 2024

  • 微小预训练数据的损坏改进扩散模型

    通过对扩散模型（DMs）预训练数据的综合研究，发现轻微的破坏性改变可以显著提高 DMs 生成图像的质量和多样性，同时介绍了一种简单的方法 —— 条件嵌入扰动（CEP），可大幅改善 DMs 在预训练和后续任务中的性能。

    May, 2024

  • 关于深度伪造检测器对去噪扩散模型攻击的漏洞

    本研究探讨了单图 Deepfake 检测器对最新生成方法之一，去噪扩散模型（DDM）的攻击的脆弱性，并在 FaceForensics ++ 数据集上进行了测试，结果表明单个去噪扩散步骤可以显著降低所有经过测试检测器的准确性而不引入明显的视觉变化

    Jul, 2023

  • 高斯扩散下的有损压缩

    本研究提出了一种基于无条件扩散生成模型的新型有损压缩方法 DiffC，该方法仅利用受高斯噪声污染的像素的有效通信来限制所需传输信息，具有压缩比 HiFiC 更高的性能表现，并提供流式解码支持，并进一步分析了其性能和一些理论界限。

    Jun, 2022

  • 在级联扩散模型中缓解稀疏视图 CT 重建引起的数据一致性差异

    稀疏视图计算机断层扫描（CT）图像重建是一种重要方法，可以降低辐射暴露，但必然导致图像质量下降。本研究引入了一种新的级联扩散与差异缓解（CDDM）框架，包括潜空间中的低质量图像生成和像素空间中的高质量图像生成，在一个步骤的重建过程中实现了数据一致性和差异缓解。级联框架通过将一些推理步骤从像素空间移动到潜空间，从而降低了计算成本。差异缓解技术解决了由数据一致性引起的训练 - 采样差距问题，确保数据分布接近原始流形。本研究还采用了专用的交替方向乘法器方法（ADMM）来处理图像梯度，提供了一种更有针对性的正则化方法。两个数据集上的实验结果表明，与现有方法相比，CDDM 在高质量图像生成方面具有更清晰的边界，并突出了该框架的计算效率。

    Mar, 2024

  • 条件扩散模型用于语义化 3D 医学影像合成

    该论文介绍了 Med-DDPM，这是一种使用扩散模型进行语义 3D 医学图像合成的创新解决方案，解决了医学成像中的普遍问题，如数据稀缺、不一致的采集方法和隐私问题。

    May, 2023

  • 关于检测扩散模型生成的合成图像

    本文旨在了解人们无法将由扩散模型产生的合成图像与原始图像区分开来的难度，并研究当前的最先进检测器是否适用于此任务。

    Nov, 2022