使用去噪技术辅助训练扩散分类器

CVPRJun, 2023

使用去噪技术辅助训练扩散分类器

Training Diffusion Classifiers with Denoising Assistance

Chandramouli Sastry, Sri Harsha Dumpala, Sageev Oore

TL;DR本文提出利用去噪技术提升分类器性能的方法，通过在正向扩散过程中（从数据到噪音）训练分类器并引入去噪样本，与传统单纯训练噪声样本的扩散分类器相比，达到了更好的泛化性能和视觉效果，并描述了一种半监督框架的基于扩散模型的训练方法及实验结果。

Abstract

score-matching and diffusion models have emerged as state-of-the-art generative models for both conditional and unconditional generation.

score-matching diffusion models generative models denoising-assisted classifiers semi-supervised learning

发现论文，激发创造

分类扩散模型

这项研究提出了基于 Classification Diffusion Models（CDMs）的生成技术，通过采用去噪扩散模型（DDMs）的形式来训练模型并使用分类器预测添加到干净信号中的噪音量，实现了更好的去噪效果以及与图像生成中的最佳结果相媲美的生成效果。该技术还能够实现高效的一步准确似然估计，是在只使用一步的方法中取得了最先进的结果。

Feb, 2024

关于引导式扩散模型的精馏

本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。

Oct, 2022

DreamDA: 用扩散模型进行生成型数据增强

该论文提出了一个新的基于扩散模型的分类导向框架 DreamDA，通过考虑训练图像中的原始数据作为种子并扰动其反扩散过程，DreamDA 生成符合原始数据分布的多样样本，并引入自训练范式生成伪标签和使用合成数据训练分类器，在四个任务和五个数据集上进行的广泛实验证明了 DreamDA 在合成高质量多样的图像并生成准确标签方面的有效性。

Mar, 2024

物理相关扩散模型

通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

Mar, 2024

非分类器扩散引导

本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

Jul, 2022

视觉中的扩散模型：一项调研

本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

Sep, 2022

使用双判别器对去噪扩散模型进行对抗训练的高保真多说话人 TTS

通过在扩散模型中引入两个辨别器（扩散辨别器和频谱图辨别器），我们提出了一种音频合成模型，其在各项评估指标中均优于 FastSpeech2 和 DiffGAN-TTS，并通过结构相似性指数、梅尔倒谱失真、F0 均方根误差、短时客观可懂性、语音质量感知评估和主观平均意见得分等客观和主观度量对该模型进行了评估。

Aug, 2023

去噪扩散模型和抽样器的表达能力注记

本论文探讨将随机控制方法运用于泛化的去噪扩散模型及样本生成中，并尝试将现有的神经网络近似方法应用于去噪扩散模型及样本生成中。

May, 2023

分类器引导扩散生成的设计空间阐明

通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

Oct, 2023

扩散模型在图像分类上胜过 GAN

本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

Jul, 2023