Feb, 2024

Pard：无序置换自回归扩散图生成

PDF
TL;DRPARD 是一个将扩散模型与自回归方法结合的置换不变自回归扩散模型，通过使用特定的局部顺序，以块状的自回归方式生成图。它在没有额外特征的情况下，在分子和非分子数据集上取得了最新水平的性能，且可以扩展到包含 1.9M 个分子的大型数据集。
发现论文，激发创造
  • 图生成的自回归扩散模型

    我们提出了一种基于扩散的图生成模型，通过定义在离散图空间中操作的节点吸收扩散过程，设计了扩散排序网络和去噪网络，从而实现了更好或相当的生成性能，并且具有快速的生成速度。

    Jul, 2023

  • 自回归扩散模型

    本文介绍了 AR 模型中的一种 Autoregressive Diffusion Models，相较于其他模型具有更高的性能表现。同时，作者还将该模型应用于无损压缩，并表明该模型在此任务上也表现出了极佳的结果，其适用于数据点的压缩及适应各种生成任务。

    Oct, 2021

  • AR-Diffusion: 自回归扩散模型用于文本生成

    介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

    May, 2023

  • 扩散模型并行采样的加速

    通过并行化自回归过程，我们提出了一种用于加速扩散模型采样的新方法，称之为 ParaTAA。在实验证明 ParaTAA 可以将 DDIM 和 DDPM 等常见顺序采样算法的推理步骤减少 4~14 倍，并且可以在仅 7 个推理步骤中，以与顺序采样完全相同的方式生成图像。

    Feb, 2024

  • 利用潜在语言扩散模型生成多样化段落的规划器

    本文提出了组合自回归生成模型与潜在语义扩散的 PLANNER 模型用于全局控制段落文本生成，并在各种条件生成任务上进行了评估。结果表明，该方法有效地生成了高质量的长篇文本。

    Jun, 2023

  • DiffAR: 去噪扩散自回归模型用于原始语音波形生成

    本文提出了一种基于扩散的概率端到端模型，用于生成原始语音波形，该模型通过自回归的方式顺序生成重叠帧，可以实现无限语音时长的合成，并保持高保真度和时间连贯性，通过直接处理波形具有优势，可以创建局部声学行为，同时该模型是随机的，生成略有差异的波形变体，实验结果表明相较于其他最先进的神经语音生成系统，所提出的模型具有更高的合成质量。

    Oct, 2023

  • PARCv2：物理感知循环卷积神经网络用于时空动力学建模

    通过引入归纳偏置方法，我们研究了物理感知递归卷积 (PARC) 在模拟非稳态和对流优势动态系统方面的能力，并将其与其他物理模型进行了比较。

    Feb, 2024

  • 非自回归文本生成的扩散模型：一项调查

    本文系统介绍了最新的扩散模型在 NAR（非自回归）文本生成领域中的进展，重点介绍了扩散模型的核心设计、预训练语言模型的应用，以及优化技术等。该综述旨在为研究人员提供一个有关文本扩散模型的系统参考。

    Mar, 2023

  • 利用自回归条件扩散模型进行湍流流动模拟

    基于条件扩散模型的全数据驱动流体求解器通过自回归预测实现了稳定的长期复现性，同时能够推广到训练范围之外的流动参数。

    Sep, 2023

  • SwinGNN: 重新思考扩散模型中图的置换不变性问题

    本文提出了一种基于 SwinTransformers 的非不变扩散模型 SwinGNN，并识别出多种关键的训练和采样技术，显著提高了图像生成的样本质量；最后介绍了一种随机置换的后处理技巧，可将任何图生成模型转换为置换不变模型

    Jul, 2023