Mar, 2024

扩散引导的理论洞察：高斯混合模型案例研究

PDF
TL;DR在高斯混合模型的背景下，我们的研究首次对扩散模型中引导信息对其性能的影响进行了理论研究，证明了引入扩散引导不仅提高了分类的置信度，还减少了分布的多样性，导致输出分布的微分熵的降低。我们的分析涵盖了广泛采用的采样方案，包括 DDPM 和 DDIM，利用了微分方程的比较不等式以及描述概率密度函数演化的 Fokker-Planck 方程，这也可能具有独立的理论兴趣。
发现论文，激发创造
  • 扩散模型的梯度引导：优化视角

    通过梯度引导实现扩散模型的细调，以用户定义的优化目标适应特定任务需求，包括理论研究、梯度引导的采样过程和梯度引导的迭代扩散，以及潜在结构的保留和全局最优解的收敛速率。

    Apr, 2024

  • 在有限区间内应用引导改善扩散模型的样本和分布质量

    通过限制特定范围的噪声水平，改进了图像生成扩散模型中的引导技术，从而在各个参数、网络结构和数据集上显著提高推理速度和结果质量，建议将引导间隔作为扩散模型的超参数暴露出来。

    Apr, 2024

  • 自我监督扩散特征引导扩散

    通过提取扩散模型的指导信号以及应用自监督学习背骨（如 DINO）进行指导，我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献，取得了卓越的性能，优于大规模数据集中的相关基准比较，如 ImageNet256、ImageNet256-100 和 LSUN-Churches。

    Dec, 2023

  • 扩散模型中的流形导向采样用于无偏图像生成

    本文提出了一种通过使用流形引导来减轻扩散模型中数据偏置的方法，该方法可以在不改变模型架构或需要标签或重新训练的情况下，改善生成图像的品质和无偏性。

    Jul, 2023

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022

  • 粒子导引：非独立同分布的多样抽样与扩散模型

    通过提出一种名为 “粒子引导” 的扩展扩散式生成抽样方法，我们在研究中探索了如何提高生成模型的多样性和采样效率，并通过在条件图像生成和分子构象生成中的实证测试，展示了这一方法的价值。

    Oct, 2023

  • 揭示具有无分类器指导的条件扩散模型：一个尖锐的统计理论

    本文通过提出一种锐利的统计理论，通过采用条件扩散模型进行分布估计，以实现对数据分布平滑性的自适应样本复杂度界限，并与极小 max 求解下界相匹配。通过对条件分数函数的近似结果揭示了理论的关键发展，该结果依赖于一种新型扩散泰勒逼近技术。此外，在求解逆问题和奖励条件样本生成等多种应用中，我们还展示了统计理论的实用性。

    Mar, 2024

  • 扩散自导式可控图片生成

    本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

    Jun, 2023

  • Dreamguider：改进的无需训练扩散式条件生成

    Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法，通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题，并提出了有效的轻量级增强策略。

    Jun, 2024

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024