ICLRFeb, 2024

标签噪声鲁棒扩散模型

PDF
TL;DR使用 Transition-aware weighted Denoising Score Matching（TDSM）训练带有噪声标签的条件扩散模型，其中 TDSM 目标函数包含得分网络的加权和，并整合了实例级和时间相关的标签转移概率。通过在各种数据集和噪声标签设置上进行实验证明，TDSM 可以提高与给定条件相匹配的生成样本的质量，甚至在常见基准数据集上也能提高生成性能，从而证明了噪声标签对于生成模型学习的潜在风险以及 TDSM 在传统噪声标签修正的基础上进一步提高性能的实证贡献。
conditional diffusion modelsnoisy labelstransition-aware weighted denoising score matching (tdsm)score networkslabel-noise robust generative models
发现论文，激发创造
  • 一致性扩散模型：通过学习一致性来缓解采样漂移

    提出基于一致性约束的得分匹配方法，实验结果表明得到了 CIFAR-10 中条件和无条件生成的最新成果和 AFHQ 以及 FFHQ 的基准改进。

    Feb, 2023

  • 降噪扩散桥模型

    通过扩展扩散模型，使用扩散桥模型作为一种自然替代方法，该模型通过从数据中学习扩散桥分数并解决基于这些分数的（随机）微分方程，将一种分布映射到另一种分布，从而实现图像编辑等应用中纳入非随机噪声信息的目标。

    Sep, 2023

  • D3AD：动态去噪扩散概率模型用于异常检测

    扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

    Jan, 2024

  • 增强结构化分布学习的非线性降噪得分匹配

    提出了一种新颖的训练基于分数的生成模型的方法，通过非线性加噪动力学改进结构化分布的学习，从而使其更好地适应数据，在数据预处理步骤中获取结构并引入了两种方法解决非线性动力学训练带来的挑战，展示了该方法在几个示例上的有效性。

    May, 2024

  • 扩散模型中实用且渐近精确的条件抽样

    本文提出了一种名为 Twisted Diffusion Sampler 的串行蒙特卡罗算法用于生成条件分布，该算法具有更高的计算效率和更准确的近似度，并成功应用于蛋白质设计。

    Jun, 2023

  • 改进的高效二阶段去噪扩散电力系统测量恢复对抗假数据注入攻击和数据丢失

    本文提出了一种改进的两阶段去噪扩散模型（TSDM），用于识别和重建具有各种测量不确定性的测量。该模型的第一阶段包括基于分类器的条件异常检测组件，而第二阶段涉及基于扩散的测量填补组件。此外，所提出的 TSDM 采用精确的均值和最优的方差来加速扩散生成过程，并在次序抽样方面表现出更好的鲁棒性和较低的计算复杂度。

    Dec, 2023

  • ShiftDDPMs: 探索通过平移扩散轨迹来探索条件扩散模型

    本研究提出了一种新的有条件扩散模型 ShiftDDPMs，通过将条件引入正向过程，为每个条件分配一个独特的扩散轨迹，并通过定向规则来实现条件建模，从而提高模型的学习能力和生成效果。在图像合成方面进行了广泛的实验，证明了 ShiftDDPMs 的可行性和有效性。

    Feb, 2023

  • 离散状态空间中的结构去噪扩散模型

    本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

    Jul, 2021

  • 基于分数扩散模型的条件图像生成

    本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。

    Nov, 2021

  • 具有明确转移概率的解耦扩散模型

    本文提出了一种名为 DDM 的扩散模型，通过将复杂的扩散过程分解为两个相对简单的过程，来提高生成效果和速度，它通过显式转移概率近似图像分布，并通过标准维纳过程控制噪声路径；文章还提出了一个新的 DPM 训练目标，能够分别预测噪声和图像成分，同时，DDM 的逆向去噪公式可以自然地支持少数的生成步骤（不需要基于 ODE 的加速器），实验结果表明，DDM 在更少的函数评估方面优于以前的 DPM。

    Jun, 2023