Nov, 2023

使用扩散概率模型的集合多样性减少快速选择偏差

PDF
TL;DR在这项工作中，我们提出了一种利用扩散概率模型（DPMs）来减轻简洁性偏见的集成多样化框架。我们展示了在特定训练间隔中，DPMs 能够生成具有新颖特征组合的图像，即使在训练时显示相关输入特征的图像。我们利用这一关键属性通过集成差异来生成合成的反事实情景，从而增加模型的多样性。我们展示了 DPM 引导的多样化足以去除对主要简洁性提示的依赖，而无需额外的监督信号。我们进一步通过几个多样化目标进行了实证量化，并最终展示了与依赖辅助数据收集的先前工作相当的改进的泛化和多样化性能。
发现论文，激发创造
  • 利用扩散分解表示缓解不完全规定的视觉任务中的捷径

    通过使用扩散概率模型生成合成的反事实情况，我们提出了一种集成多样化框架，用于处理数据中的错误相关性和捷径学习现象，实验证明扩散引导的多样化能够使模型避开捷径线索，获得与额外数据采集方法相当的集成多样性性能。

    Oct, 2023

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 扩散模型的推断稳定性

    提出了一种新的序列感知损失函数，以减小估计误差从而提高采样质量，并通过实验证明了该方法相比于传统损失函数在图像泛化质量方面的显著改进。

    Dec, 2023

  • 联合征服：使用扩散模型的即插即用多模态合成

    本文研究了使用扩散模型生成图片以满足多种限制条件的问题。我们提出了一种基于去噪扩散概率模型的解决方案，该方法能够统一多个扩散模型，并引入一种新的可靠性参数，使得可以在采样时仅使用不同数据集上训练的现成模型来指导并满足多种限制条件的任务。该方法在多种标准的多模态任务上表现出了有效性。

    Dec, 2022

  • DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

    本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

    Jun, 2023

  • 通过并行得分匹配实现扩散模型的更快训练和改进密度估计

    本文提出一种基于独立神经网络的时间划分模型来快速提高 DPMs 训练速度和提升密度估计性能。

    Jun, 2023

  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 使用熵对抗数据增强来超越偏见

    该论文提出了一种对抗性数据增强的训练方案，以消除分类中的捷径，提高深度神经网络的鲁棒性，并在分类基准测试中取得了竞争力的结果。

    Jan, 2023

  • 通过对抗性噪声实现扩散模型中的高效迁移学习

    本文提出了一种基于 DPMs 的迁移学习方法 TAN，通过相似性引导训练和对抗性噪声选择两种策略，解决了数据有限的问题，实验表明相比现有的基于 GAN 和 DDPM 的方法，我们的方法在图像质量和多样性方面表现出色且高效。

    Aug, 2023

  • 利用共享表示优化去噪扩散概率模型

    本研究提出一种名为 SR-DDPM 的新方法，通过利用少样本表示学习技术，解决面临有限数据的多任务图像生成挑战，以提高图像质量，并在标准图像数据集上对其进行评估，发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。

    Nov, 2023