ICCVAug, 2023

扩散模型作为表示学习器

PDF
TL;DR通过深入研究 DPM 的表示能力，提出了一种名为 Repfusion 的新型知识迁移方法，该方法利用生成型 DPM 获取的知识用于识别任务，通过强化学习动态地根据不同的时间步骤从现成 DPM 中提取表示并作为学生网络的监督，实验证明此方法在多个任务中优于现有方法，揭示了 DPM 作为表示学习工具的潜力和生成模型在样本生成以外的用途。
diffusion probabilistic modelsrepresentation learningknowledge transfergenerative modelsrepfusion
发现论文，激发创造
  • 预训练扩散概率模型中的无监督表征学习

    本文提出了一种基于现有预训练 DPM 模型的图像重建通用方法 PDAE，实现了比 Diff-AE 更好的训练效率和性能，并通过对分类器引导采样的机制填补信息缺失的空隙，使编码器对图像进行更好的重建，表现出了较高的有效性、效率和灵活性。

    Dec, 2022

  • 扩散自编码器：走向有意义和可解码的表征

    本研究探索使用可扩散概率模型作为自编码器的解码器，让输入图像生成一个可以被意义化和解码的编码向量，该编码向量分为两部分：第一部分是含有语义的线性编码，而第二部分是建模随机变量的编码，提升了图像生成的质量并且在其他应用中可以用来做属性调整和去噪等任务。

    Nov, 2021

  • Adv-KD: 教师对抗知识蒸馏以加速扩散采样

    通过将去噪步骤直接整合到模型的架构中，本研究提出了一种新方法，将扩散模型与生成对抗网络结合起来，通过知识蒸馏实现更高效的训练和评估，从而减少了所需的参数和去噪步骤，提高了测试时的采样速度。

    May, 2024

  • 利用共享表示优化去噪扩散概率模型

    本研究提出一种名为 SR-DDPM 的新方法，通过利用少样本表示学习技术，解决面临有限数据的多任务图像生成挑战，以提高图像质量，并在标准图像数据集上对其进行评估，发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。

    Nov, 2023

  • 评估去噪扩散概率模型在重现空间上下文方面的能力

    通过使用随机上下文模型（SCMs）产生训练数据，首次对 Denoising Diffusion Probabilistic Models（DDPMs）在医学成像领域相关信息学习能力进行了系统评估，结果表明 DDPMs 在生成具有空间上下文的图像方面具有显著的能力，可能在数据增强任务中具有 GANs 所不能达到的优势。

    Sep, 2023

  • 改进降噪扩散概率模型

    通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

    Feb, 2021

  • ClusterDDPM：一种带有去噪扩散概率模型的 EM 聚类框架

    利用新型的去噪扩散概率模型（DDPMs）引入创新的期望最大化（EM）框架进行聚类，通过优化学习聚类友好的潜在表示，有效地提高了聚类、无监督条件生成和潜在表示学习的性能。

    Dec, 2023

  • 扩散模型的推断稳定性

    提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

    Dec, 2023

  • 通过对抗性噪声实现扩散模型中的高效迁移学习

    本文提出了一种基于 DPMs 的迁移学习方法 TAN，通过相似性引导训练和对抗性噪声选择两种策略，解决了数据有限的问题，实验表明相比现有的基于 GAN 和 DDPM 的方法，我们的方法在图像质量和多样性方面表现出色且高效。

    Aug, 2023

  • 利用扩散分解表示缓解不完全规定的视觉任务中的捷径

    通过使用扩散概率模型生成合成的反事实情况，我们提出了一种集成多样化框架，用于处理数据中的错误相关性和捷径学习现象，实验证明扩散引导的多样化能够使模型避开捷径线索，获得与额外数据采集方法相当的集成多样性性能。

    Oct, 2023