Oct, 2023

利用扩散分解表示缓解不完全规定的视觉任务中的捷径

PDF
TL;DR通过使用扩散概率模型生成合成的反事实情况，我们提出了一种集成多样化框架，用于处理数据中的错误相关性和捷径学习现象，实验证明扩散引导的多样化能够使模型避开捷径线索，获得与额外数据采集方法相当的集成多样性性能。
发现论文，激发创造
  • 使用扩散概率模型的集合多样性减少快速选择偏差

    在这项工作中，我们提出了一种利用扩散概率模型（DPMs）来减轻简洁性偏见的集成多样化框架。我们展示了在特定训练间隔中，DPMs 能够生成具有新颖特征组合的图像，即使在训练时显示相关输入特征的图像。我们利用这一关键属性通过集成差异来生成合成的反事实情景，从而增加模型的多样性。我们展示了 DPM 引导的多样化足以去除对主要简洁性提示的依赖，而无需额外的监督信号。我们进一步通过几个多样化目标进行了实证量化，并最终展示了与依赖辅助数据收集的先前工作相当的改进的泛化和多样化性能。

    Nov, 2023

  • 利用共享表示优化去噪扩散概率模型

    本研究提出一种名为 SR-DDPM 的新方法，通过利用少样本表示学习技术，解决面临有限数据的多任务图像生成挑战，以提高图像质量，并在标准图像数据集上对其进行评估，发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。

    Nov, 2023

  • 扩散模型作为表示学习器

    通过深入研究 DPM 的表示能力，提出了一种名为 Repfusion 的新型知识迁移方法，该方法利用生成型 DPM 获取的知识用于识别任务，通过强化学习动态地根据不同的时间步骤从现成 DPM 中提取表示并作为学生网络的监督，实验证明此方法在多个任务中优于现有方法，揭示了 DPM 作为表示学习工具的潜力和生成模型在样本生成以外的用途。

    Aug, 2023

  • 联合征服：使用扩散模型的即插即用多模态合成

    本文研究了使用扩散模型生成图片以满足多种限制条件的问题。我们提出了一种基于去噪扩散概率模型的解决方案，该方法能够统一多个扩散模型，并引入一种新的可靠性参数，使得可以在采样时仅使用不同数据集上训练的现成模型来指导并满足多种限制条件的任务。该方法在多种标准的多模态任务上表现出了有效性。

    Dec, 2022

  • 因果扩散自编码器：通过扩散概率模型实现反事实生成

    提出了 CausalDiffAE，一种基于扩散的因果表示学习框架，能够根据指定的因果模型实现反事实生成，并通过编码器从高维数据中提取语义上有意义的因果变量，以及使用神经网络参数化潜在因果变量之间的因果机制。

    Apr, 2024

  • 扩散模型的推断稳定性

    提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

    Dec, 2023

  • DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

    本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

    Jun, 2023

  • 通过并行得分匹配实现扩散模型的更快训练和改进密度估计

    本文提出一种基于独立神经网络的时间划分模型来快速提高 DPMs 训练速度和提升密度估计性能。

    Jun, 2023

  • 基于扩散的图像修复统一条件框架

    本文提出了一种基于扩散模型的统一条件框架，结合了轻量级 UNet 和固有的差异模型来增强图像恢复的物理约束，采用基本和集成模块实现了对所有块的引导和其他辅助条件信息的整合，并提出了简单而有效的截距补丁分裂策略，将其用于低光量去噪、去模糊和 JPEG 图像恢复的挑战任务中，得到了显著的感知质量提升和恢复任务的推广。

    May, 2023

  • Adv-KD: 教师对抗知识蒸馏以加速扩散采样

    通过将去噪步骤直接整合到模型的架构中，本研究提出了一种新方法，将扩散模型与生成对抗网络结合起来，通过知识蒸馏实现更高效的训练和评估，从而减少了所需的参数和去噪步骤，提高了测试时的采样速度。

    May, 2024