ICLRMar, 2024

基于偏倚数据集训练无偏离散模型

PDF
TL;DR本文提出了一种时间相关的重要性重新加权方法来减轻扩散模型中的数据集偏差，并证明了时间相关密度比方法相较于之前的方法更准确，从而在生成学习中最小化误差传播。通过将时间相关密度比用于重新加权和得分校正，可以获得一个可行的目标函数来重建无偏数据密度。此外，本文理论上建立了与传统得分匹配的联系，并证明了其收敛于无偏分布。实验证据支持了该方法的有效性，它在包括 CIFAR-10、CIFAR-100、FFHQ 和 CelebA 在内的多种偏差设置下胜过了基线方法。
发现论文，激发创造
  • 去偏扩散模型的训练

    通过理论支持，本文提出一种优雅而有效的加权策略，解决了扩散模型中常数加权策略带来的估计偏差问题。并通过实证评估表明，提出的去偏估计方法在样本质量、训练效率和采样效率方面均显著优于基准方法。

    Oct, 2023

  • 扩散模型的数据归因：时间步引起的对影响估计的偏差

    Diffusion-TracIn 和 Diffusion-ReTrac 方法针对扩散模型的时间动态性进行了研究，通过重新归一化适应性，以减少普遍具有影响力的样本数量，从而提供了更直观的可视化，并通过各种评估指标和辅助任务证明了方法的有效性。

    Jan, 2024

  • 利用无似然重要性加权的方法校正学习生成模型的偏差

    采用似然比未知的情况下可估计的概率分类器进行样本权重优化的无似然比重要加权方法，可以用于校正生成模型中的偏差问题，并提高生成模型的样本质量和性能。

    Jun, 2019

  • 感知优先的弥散模型训练

    本文研究了扩散模型学习以优化对应丢失函数的加权和（去噪得分匹配损失）来恢复不同噪声水平的嘈杂数据，并提出了恢复受特定噪声水平损坏的数据作为学习丰富视觉概念的适当预先任务的方法，通过重新设计目标函数的加权方案，在训练过程中优先考虑这些噪声水平，我们证明了我们简单的加权方案重构可以显著提高扩散模型的性能。

    Apr, 2022

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 输入扰动减少扩散模型中的暴露偏差

    通过加入输入扰动以模拟推理时间预测误差，本文提出了一种简单而有效的训练正则化方法，以减轻 Denoising Diffusion Probabilistic Models 模型中的错误积累现象，并在维持较高的采样质量的同时，显著减少训练和推理时间。

    Jan, 2023

  • 通过使用合成数据进行模型再平衡的公平生成对抗网络

    使用深度生成模型生成平衡数据，并提出的偏差缓解损失函数能够在非平衡数据集上改善公平性指标，同时保持图像质量。

    Aug, 2023

  • 扩散模型中稳定的目标场用于减少方差评分估计

    通过引入参考样本，将加权条件分数作为更稳定的训练目标，以降低训练目标的协方差，改进扩散模型算法，并在多个数据集上实现了 SOTA FID 的效果。

    Feb, 2023

  • 去噪扩散概率模型

    本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

    Jun, 2020

  • 以 Wasserstein 距离为指导的对抗性权重调整用于偏见缓解

    通过对抗再加权方法来解决机器学习中的表征偏差，平衡数据分布以减少对少数群体的不公正对待，从而提高分类准确性和公平性。

    Nov, 2023