本文分析了连续数据空间和嵌入空间之间的挑战并提出 Difformer，一种基于 Transformer 的嵌入式扩散模型，通过实验表明它在机器翻译和文本摘要等任务中优于其他扩散基准模型。

Dec, 2022

通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

Apr, 2024

DiffusER 是一种基于编辑的生成模型，它能利用去噪扩散模型生成数据，并允许用户在原型或不完整序列上进行连续的修订，超越自回归模型在机器翻译、摘要、风格转换等任务上表现出色。

Oct, 2022

图扩散方程与图神经网络紧密相关，并近期引起关注，作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力，向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模型中，我们首先展示了其泛化能力的不足之处，这源于对拓扑变化的指数敏感性。随后的分析揭示了非局部扩散的潜力，它提倡在具有特定数据生成条件的情况下，通过在完全连接的潜在图上进行特征传播。除了这些发现，我们提出了一种新颖的图编码器骨干，即 Advective Diffusion Transformer (ADiT)，它受到具有封闭形式解和理论保证的 Advective 图扩散方程的启发，在拓扑分布转移情况下具有期望的泛化能力。这个新模型作为一种多功能图 Transformer，在各种图学习任务中展现出卓越的表现。

Oct, 2023

通过使用扩散模型，我们提出了 DiffMorpher，实现了平滑且自然的图像插值，不仅能捕捉图像的语义信息，而且在多个对象类别中实现了比以前的方法更好的图像变形效果。

Dec, 2023

本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

Dec, 2022

我们介绍了一种称为基于能量扩散生成器的新型采样器，用于从任意目标分布生成样本。采样模型采用类似变分自动编码器的结构，利用解码器将来自简单分布的潜在变量转换为逼近目标分布的随机变量，并设计了基于扩散模型的编码器。通过利用扩散模型对复杂分布的强大建模能力，我们可以获得生成样本的分布与目标分布之间的 Kullback-Leibler 散度的准确变分估计。此外，我们提出了一种基于广义 Hamilton 动力学的解码器，进一步提升了采样性能。通过实证评估，我们展示了我们的方法在各种复杂分布函数上的有效性，并展示了与现有方法相比的优越性。

Jan, 2024

本文提出一种新的分子数据生成模型，它将离散与连续的扩散过程相结合。 通过扩散过程的使用，可以捕获分子过程的概率性质，并探索不同因素对分子结构和性质的影响。 此外，文中还提出了一种新颖的图形变换器架构，用于去噪扩散过程，可以用于学习鲁棒的分子表示。 通过实验和与现有方法的比较，表明该模型能够生成更稳定和有效的分子，并具有良好的性能。 该模型为设计具有所需特性的分子提供了一种有前途的方法，并可应用于分子建模的广泛任务。

Apr, 2023

本文介绍了 Diffusion-EDFs，一种新颖的方法，将 SE (3)- 等变性（roto-translation equivariance）引入扩散生成模型中，展示出了卓越的数据效率，只需要 5 至 10 个任务演示进行有效的端到端训练，并且相比以前的基于扩散的操作方法，具有更好的泛化能力。

Sep, 2023

我们提出了一种新型的生成扩散模型，称为功能性扩散。与以前的工作相比，功能性扩散适用于由具有连续域的函数表示的样本。功能性扩散可以看作是将经典扩散模型扩展到无限维度域的一种扩展。功能性扩散非常适用于处理图像、视频、音频、3D 形状、变形等不同类型的数据，且只需要进行最小的改动。此外，功能性扩散特别适用于非规则数据或在非标准域中定义的数据。在我们的工作中，我们推导了功能性扩散的必要基础并提出了基于 Transformer 架构的首个实现。我们展示了应用在复杂符号距离函数和定义在 3D 表面上的变形函数的生成结果。

Nov, 2023