Nov, 2023

功能扩散

PDF
TL;DR我们提出了一种新型的生成扩散模型，称为功能性扩散。与以前的工作相比，功能性扩散适用于由具有连续域的函数表示的样本。功能性扩散可以看作是将经典扩散模型扩展到无限维度域的一种扩展。功能性扩散非常适用于处理图像、视频、音频、3D 形状、变形等不同类型的数据，且只需要进行最小的改动。此外，功能性扩散特别适用于非规则数据或在非标准域中定义的数据。在我们的工作中，我们推导了功能性扩散的必要基础并提出了基于 Transformer 架构的首个实现。我们展示了应用在复杂符号距离函数和定义在 3D 表面上的变形函数的生成结果。
发现论文，激发创造
  • 函数空间中的基于分数的扩散模型

    本研究提出了一种名为去噪扩散算子的数学严谨框架，用于在函数空间中训练扩散模型，将它推广到无限维函数空间的应用，其中前向过程是逐渐扰动输入函数，生成过程是通过积分的函数值 Langevin 动力学实现。

    Feb, 2023

  • 生成模型作为函数分布

    以连续函数参数化单个数据点，用生成对抗学习方法训练生成模型，达到基于数据类型和分辨率的抽象和多模态学习。

    Feb, 2021

  • 构建桥梁：理解和扩展扩散生成模型

    本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和 3D 点云方面表现出色。

    Aug, 2022

  • 图像合成的梯度域扩散模型

    通过在梯度域内进行扩散过程，可以加快收敛速度，得到更高效的梯度域扩散模型，适用于图像处理、计算机视觉和机器学习任务。

    Sep, 2023

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • 面向应用数学家的生成人工智能扩散模型简介

    生成人工智能是指生成合成但逼真的输出的算法。扩散模型在图像生成人工智能中目前达到最高水平，并在包括文本到图像生成器和大型语言模型在内的更通用工具中起着关键作用。

    Dec, 2023

  • 受限域的扩散模型

    本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

    Apr, 2023

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 多流形扩散场

    本文提出了一种名为 Manifold Diffusion Fields（MDF）的方法来学习定义在黎曼流形上的连续函数的生成模型，该方法利用了谱几何分析的见解，在流形上定义了一种内在坐标系统，MDF 使用由多个输入输出对形成的显式参数化来表示函数，该方法允许在流形上采样连续函数，并且对于流形的刚性和等距变换是不变的，实证结果表明，与之前的方法相比，MDF 可以更好地捕捉这些函数的分布，具有更好的多样性和保真度。

    May, 2023

  • 使用扩散模型生成符号音乐

    本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

    Mar, 2021