ICLROct, 2021

自回归扩散模型

PDF
TL;DR本文介绍了 AR 模型中的一种 Autoregressive Diffusion Models，相较于其他模型具有更高的性能表现。同时，作者还将该模型应用于无损压缩，并表明该模型在此任务上也表现出了极佳的结果，其适用于数据点的压缩及适应各种生成任务。
autoregressive diffusion modelsprobabilistic diffusion modelslossless compressionparallel generationnetwork calls
发现论文，激发创造
  • AR-Diffusion: 自回归扩散模型用于文本生成

    介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

    May, 2023

  • 简单有效的遮掩扩散语言模型

    简化的掩码离散扩散模型在语言建模方面的性能优于以往认为的水平，可以用于训练只有编码器的高效采样语言模型，并在语言建模基准测试中取得了最新的最佳结果。

    Jun, 2024

  • 图生成的自回归扩散模型

    我们提出了一种基于扩散的图生成模型，通过定义在离散图空间中操作的节点吸收扩散过程，设计了扩散排序网络和去噪网络，从而实现了更好或相当的生成性能，并且具有快速的生成速度。

    Jul, 2023

  • AAMDM: 加速的自回归运动扩散模型

    通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

    Dec, 2023

  • DiffAR: 去噪扩散自回归模型用于原始语音波形生成

    本文提出了一种基于扩散的概率端到端模型，用于生成原始语音波形，该模型通过自回归的方式顺序生成重叠帧，可以实现无限语音时长的合成，并保持高保真度和时间连贯性，通过直接处理波形具有优势，可以创建局部声学行为，同时该模型是随机的，生成略有差异的波形变体，实验结果表明相较于其他最先进的神经语音生成系统，所提出的模型具有更高的合成质量。

    Oct, 2023

  • Pard：无序置换自回归扩散图生成

    PARD 是一个将扩散模型与自回归方法结合的置换不变自回归扩散模型，通过使用特定的局部顺序，以块状的自回归方式生成图。它在没有额外特征的情况下，在分子和非分子数据集上取得了最新水平的性能，且可以扩展到包含 1.9M 个分子的大型数据集。

    Feb, 2024

  • 离散数据的简化和推广掩码扩散

    掩蔽扩散模型是生成离散数据的自回归模型的替代选择，本论文提出了一个简单且通用的框架，解锁了掩蔽扩散模型的全部潜力，并在 OpenWebText 数据集上训练的模型在困惑度上超过了 GPT-2 模型，并在 5 个零 - shot 语言建模任务中展现出卓越性能，在像素级图像建模中也超过了之前的离散扩散模型。

    Jun, 2024

  • 非自回归文本生成的扩散模型：一项调查

    本文系统介绍了最新的扩散模型在 NAR（非自回归）文本生成领域中的进展，重点介绍了扩散模型的核心设计、预训练语言模型的应用，以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。

    Mar, 2023

  • 自回归扩散变换器用于文本到语音合成

    通过使用连续空间中的向量序列将音频编码为完美重构的高码率连续语音表示，我们提出了一个仅使用解码器的扩散变换器（ARDiT），在零样本语音合成和其他生成任务中表现出与最先进模型相当或优于其的性能。通过在自回归步骤中采用积分 Kullback-Leibler 散度进行蒸馏，我们显著提高了样本的感知质量，并将扩散模型的迭代采样过程压缩为单一步骤。此外，ARDiT 可以训练以一步预测多个连续向量，从而显著减少采样时的延迟。

    Jun, 2024

  • 自回归扩散模型的判别指导

    在 Autoregressive Diffusion Models 中引入鉴别器指导，结合预先训练的生成模型，在离散情况下使用最优鉴别器可以纠正预训练模型并从底层数据分布中精确采样；针对使用次优鉴别器的实际情况，我们提出了一种顺序蒙特卡罗算法，在生成过程中迭代地考虑鉴别器的预测。我们在生成分子图的任务上对这些方法进行了测试，展示了鉴别器如何提高生成性能，超过仅使用预先训练的模型。

    Oct, 2023