Feb, 2024

结构保持扩散模型

PDF
TL;DR最近几年扩散模型已成为主要的分布学习方法。本文介绍了一种称为结构保持扩散过程的扩散模型系列，用于学习具有额外结构特征（例如群对称性）的分布。该研究通过开发理论条件，使扩散转移步骤保持所述对称性，从而使得数据采样轨迹具有等变性。我们以开发一系列不同对称等变的扩散模型来验证这些结果，并能够学习具有固有对称性的分布。通过在合成和真实数据集上进行实证研究，我们验证了所提出的模型符合提出的理论，并在样本均等性方面能够实现比现有方法更好的性能。我们还展示了如何使用所提出的模型，在不事先了解图像方向的情况下实现理论上有保证的等变图像降噪。
diffusion modelsstructure-preserving diffusion processesgroup symmetriesequivariant data sampling trajectoriesequivariant image noise reduction
发现论文，激发创造
  • 几何神经扩散进程

    本文将扩展扩散模型的框架，将几何先验引入无限维建模，并通过构建噪声过程和近似得分实现对称性，展示了该模型适用于模拟扩散模型的任意对称性情景以及在复杂的合成场景和天气数据上的可扩展性和容量。

    Jul, 2023

  • 保结构扩散模型的量子态生成

    针对量子系统状态的生成建模问题，本文提出了一种基于去噪扩散模型的方法，其关键创新点在于考虑了物理性质中的量子状态约束，通过 Mirror Diffusion Model 和设计出的镜像映射实现了严格保持结构的生成，实验验证了无条件生成和通过无监督分类器引导的条件生成的有效性，后者甚至在未知标签上生成了新的量子状态。

    Apr, 2024

  • 概率扩散模型讲义

    扩散模型通过训练大量数据点，利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布，并学习数据流形，优于其他方法（包括生成对抗网络）来建模自然图像等分布。

    Dec, 2023

  • 等变扩散策略

    最近的研究表明扩散模型是学习行为克隆中源自示范数据的多模式分布的有效方法，但该方法的缺点在于需要学习一个比学习明确策略更复杂的降噪函数。在本研究中，我们提出了等变扩散策略，这是一种利用域对称性来获得更高样本效率和泛化性能的新型扩散策略学习方法。我们从理论上分析了完整的 6 自由度控制中的 SO (2) 对称性，并表征了扩散模型何时是 SO (2) 等变的。此外，我们在 MimicGen 的一组 12 个仿真任务上对该方法进行了实证评估，并显示其成功率平均比基线扩散策略高出 21.9%。我们还在一个真实系统上对该方法进行了评估，以表明相对较少的训练样本就可以学习到有效的策略，而基线扩散策略则做不到。

    Jul, 2024

  • 面向图表示学习的定向扩散模型

    本文提出了一种名为方向扩散模型的新型模型，该模型在学习非等向性结构时比传统扩散模型更加有效，应用于无监督表示学习，并在 12 个公共数据集上的不同图表示学习任务中得到证明。

    Jun, 2023

  • 非去噪前向时间扩散

    该论文通过扩散过程进行生成模型，通过选择适当的扩散桥混合，构造了以所需数据分布为目标的扩散过程，并且通过新的训练目标，可以通过神经网络进行逼近。

    Dec, 2023

  • 受限域的扩散模型

    本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形，包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量，在合成和真实任务中进行了实证表明，包括蛋白质骨架和机器人臂运动的约束构象模拟。

    Apr, 2023

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 重正化扩散模型

    使用扩散模型学习统计场论和量子场论的逆重整化群流。

    Aug, 2023

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022