Aug, 2023

遮蔽扩散作为自监督表示学习者

PDF
TL;DR最近，去噪扩散概率模型展示了最先进的生成性能，并被用作强大的像素级表示学习器。本文将扩散模型内在的生成能力与表示学习能力之间的相互关系进行了分解。我们提出了掩蔽扩散模型 (MDM)，这是一种可扩展的自监督表示学习器，用于将传统扩散中的加性高斯噪声替换为遮罩机制。我们所提出的方法在医学和自然图像语义分割任务中明显超越了先前的基准，并在少样本场景下展示了显著的进展。
denoising diffusion probabilistic modelsgenerative performancerepresentation learningmasked diffusion model (mdm)few-shot scenario
发现论文，激发创造
  • 扩散模型作为遮盖自编码器

    本文提出一种使用掩码自编码器作为扩散模型的条件，进而重复生成预训练视觉表示的方法，具备强大的下游识别任务的初始化能力，高质量图像修复和无需额外努力即可应用于视频分类等许多优点。同时，本文还对设计选择的利弊进行了全面的研究并建立了扩散模型和掩码自编码器之间的联系。

    Apr, 2023

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • 使用掩码扩散模型进行医学图像无监督异常检测

    本研究提出了一种名为 mDPPM 的方法，通过引入基于掩码的正则化来重新定义扩散模型的生成任务，以将无标签数据用于自我监督学习，从而从健康脑的样本级标签生成所需的表示，确保结果是解剖一致的。 该研究在包含肿瘤和多发性硬化症病变的数据集上评估了这种方法，并展示了我们的无监督方法相对于现有完全 / 弱监督基线的优越性能。

    May, 2023

  • 掩码扩散模型学习速度快

    我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

    Jun, 2023

  • 统一自编码与屏蔽扩散

    提出了一种统一的自监督目标（Unified Masked Diffusion），通过在单一的自编码框架中结合基于补丁和噪声的破坏技术，使用扩散变换器（DiT）培训过程中引入额外的无噪声、高掩膜表示步骤，并在后续时间步骤中使用混合的掩膜和噪声图像，以实现在下游生成和表示学习任务中强大的性能。

    Jun, 2024

  • 离散数据的简化和推广掩码扩散

    掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型，并在 5 个零 - shot 语言建模任务中展现出卓越性能，在像素级图像建模中也超过了之前的离散扩散模型。

    Jun, 2024

  • 使用软屏蔽噪声的更便宜、更好的扩散语言模型

    介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

    Apr, 2023

  • 具有掩模先验建模的降噪扩散语义分割

    本文中，我们提出了使用最近发展的去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。我们发现简单的集成扩散模型到语义分割中是不够的，并且一次差的扩散过程设计可能导致分割性能下降。我们通过多个实验表明，我们的方法在 ADE20K 和 Cityscapes 数据集上达到了较高的定量和定性性能。

    Jun, 2023

  • 时序集成扩散模型的稳健半监督分割

    本研究侧重于使用扩散模型进行半监督图像分割，特别是针对领域泛化问题，结论表明较小的扩散步骤生成的潜在表示比较大的步骤更具鲁棒性，通过利用信息密集的小步骤和较大步骤的正则化效果生成预测，该模型在领域变化设置中表现出明显较好的性能且在领域内保持有竞争力的性能，突显了 DDPM 在半监督医学图像分割中的潜力并提供了优化其在领域变化下性能的见解。

    Nov, 2023

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021