Jun, 2024

您的吸收离散扩散隐秘地建模清洁数据的条件分布

PDF
TL;DR离散扩散模型中的吸收过程显示出潜力，该过程在语言建模中表现良好。我们提出了重新参数化的吸收离散扩散（RADD）模型，该模型旨在表征时间独立条件概率，并证明了吸收扩散的准确似然可以有效地通过蒙特卡洛方法进行估计。该方法在零样本语言建模测试中显著推进了离散扩散的最新进展。
discrete diffusion modelsabsorbing processesconcrete scorereparameterized absorbing discrete diffusiondenoising cross-entropy
发现论文，激发创造
  • 离散数据的简化和推广掩码扩散

    掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型，并在 5 个零 - shot 语言建模任务中展现出卓越性能，在像素级图像建模中也超过了之前的离散扩散模型。

    Jun, 2024

  • 图生成的自回归扩散模型

    我们提出了一种基于扩散的图生成模型，通过定义在离散图空间中操作的节点吸收扩散过程，设计了扩散排序网络和去噪网络，从而实现了更好或相当的生成性能，并且具有快速的生成速度。

    Jul, 2023

  • D3AD：动态去噪扩散概率模型用于异常检测

    扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

    Jan, 2024

  • 通过估计数据分布的比例进行离散扩散语言建模

    使用评分熵离散化损失函数来优化基于扩散模型的生成模型，在与 GPT-2 进行比较时取得了竞争性的似然度，并且在算法上也带来了明显的优势。

    Oct, 2023

  • 基于分数扩散模型的条件图像生成

    本文研究使用基于得分的扩散模型进行深层生成建模的方法，系统比较和理论分析不同方法学习条件概率分布的效果，并证明得出条件得分最成功的估计器的理论依据。同时，介绍了多速度扩散框架，提出了一个新的条件分数估计器，与之前的最先进方法相当。伴随着本文的理论和实验研究是一个开放源代码库 MSDiff，可用于应用和进一步研究多速度扩散模型。

    Nov, 2021

  • 基于扩散的生成模型的更快非渐进收敛探索

    该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论，对于一种常见的确定性采样方法，该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率，对于另一种主流随机采样方法，该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率，同时设计了两种加速变体，进一步提高了收敛速度。

    Jun, 2023

  • 离散时间扩散模型的非渐近收敛：新方法和改进速率

    去噪扩散模型是一种将噪声转换为数据的强大生成技术，本论文研究了离散时间扩散模型在更大范围的分布上的收敛性保证，并提出了一种加速采样器来提高收敛速度和维度依赖性。

    Feb, 2024

  • 基于分数的扩散模型用于加速 MRI

    该研究提出了一种使用分数梯度模型重构图像的方法，并使用连续时间依赖分数函数进行训练。该模型可用于解决成像的反问题，尤其是加速 MRI，具有强大的性能及实用性，并且可重构复杂值数据。

    Oct, 2021

  • 标签噪声鲁棒扩散模型

    使用 Transition-aware weighted Denoising Score Matching（TDSM）训练带有噪声标签的条件扩散模型，其中 TDSM 目标函数包含得分网络的加权和，并整合了实例级和时间相关的标签转移概率。通过在各种数据集和噪声标签设置上进行实验证明，TDSM 可以提高与给定条件相匹配的生成样本的质量，甚至在常见基准数据集上也能提高生成性能，从而证明了噪声标签对于生成模型学习的潜在风险以及 TDSM 在传统噪声标签修正的基础上进一步提高性能的实证贡献。

    Feb, 2024

  • 来 - 近 - 扩 - 速：通过随机收缩加速条件扩散模型求解反问题

    通过使用新的采样策略 Come-Closer-Diffuse-Faster (CCDF) 和现有的前馈神经网络方法相结合，本文在超分辨率、图像修补和压缩感知 MRI 等三个领域取得了最优的重建性能。

    Dec, 2021