Oct, 2023

粒子导引：非独立同分布的多样抽样与扩散模型

PDF
TL;DR通过提出一种名为 “粒子引导” 的扩展扩散式生成抽样方法，我们在研究中探索了如何提高生成模型的多样性和采样效率，并通过在条件图像生成和分子构象生成中的实证测试，展示了这一方法的价值。
generative modelssampling timediversitysample efficiencyparticle guidance
发现论文，激发创造
  • 扩散引导的理论洞察：高斯混合模型案例研究

    在高斯混合模型的背景下，我们的研究首次对扩散模型中引导信息对其性能的影响进行了理论研究，证明了引入扩散引导不仅提高了分类的置信度，还减少了分布的多样性，导致输出分布的微分熵的降低。我们的分析涵盖了广泛采用的采样方案，包括 DDPM 和 DDIM，利用了微分方程的比较不等式以及描述概率密度函数演化的 Fokker-Planck 方程，这也可能具有独立的理论兴趣。

    Mar, 2024

  • 通过扩散生成模型学习近似粒子平滑轨迹

    从稀疏观测数据中学习动力系统是许多领域（包括生物学、金融学和物理学）的一个关键问题。这篇论文介绍了一种将条件粒子滤波与祖先采样和扩散模型相结合的方法，能够生成与观测数据相符合的逼真轨迹。该方法基于迭代条件粒子滤波与祖先采样生成匹配观测边缘概率的合理轨迹，并学习相应的扩散模型。该方法既为复杂约束下高质量、平滑的轨迹提供了一种生成方法，又有效近似了粒子平滑分布在经典跟踪问题中。我们在时间序列生成和插值任务上展示了该方法，包括车辆追踪和单细胞 RNA 测序数据。

    Jun, 2024

  • 扩散模型中的流形导向采样用于无偏图像生成

    本文提出了一种通过使用流形引导来减轻扩散模型中数据偏置的方法，该方法可以在不改变模型架构或需要标签或重新训练的情况下，改善生成图像的品质和无偏性。

    Jul, 2023

  • 不偏袒：扩散模型的少数族裔指导

    本论文探讨用扩散模型生成少数族裔样本的问题，提出了一种新的框架来引导扩散模型的生成过程，侧重于生成低密度区域上的少数族裔样本。实验结果表明，与标准扩散采样器相比，我们的少数族裔引导技术可以极大地提高生成低概率少数族裔样本的能力。

    Jan, 2023

  • 解锁离散状态空间扩散和流动模型的指导

    在自然科学领域中，离散状态空间上的生成模型具有广泛的潜在应用。本文介绍了一种在离散状态空间模型上应用引导的通用方法，该方法依赖于在离散状态空间上利用连续时间马尔可夫过程，从而实现了从期望的引导分布中进行抽样的计算可行性。我们展示了该方法在图像、小分子、DNA 序列和蛋白质序列的引导生成等多个应用中的实用性。

    Jun, 2024

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 粒子去噪扩散采样器

    利用新颖的评分匹配损失，我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器（PDDS），它能够在温和假设下提供渐近一致的估计，我们在多模态和高维取样任务上演示了 PDDS。

    Feb, 2024

  • 发生在生成性扩散模型中的自发对称性破缺

    本文探讨了生成扩散模型的动力学性质，发现其决定性的相变点将其生成过程分为两个不同的阶段，对此我们提出了一种高斯后初始化方案，可显著提高模型性能，增加样本多样性并减少偏差，实验表明在快速采样上可实现 3 倍的 FID 改进。

    May, 2023

  • 在有限区间内应用引导改善扩散模型的样本和分布质量

    通过限制特定范围的噪声水平，改进了图像生成扩散模型中的引导技术，从而在各个参数、网络结构和数据集上显著提高推理速度和结果质量，建议将引导间隔作为扩散模型的超参数暴露出来。

    Apr, 2024

  • 使用扩散图进行稳定的生成建模

    我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

    Jan, 2024