Oct, 2023

神经扩散模型

HTML
PDF
TL;DR传播模型是生成任务中表现出色的模型，然而大部分传播模型仅允许对数据分布进行线性变换，相比之下，更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中，我们介绍了神经传播模型(NDMs)，这是传统传播模型的泛化，可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化NDMs。此外，我们导出了NDMs的时间连续形式，可以使用现成的数值ODE和SDE求解器进行快速可靠的推断。最后，我们通过在标准图像生成基准测试上的实验，包括CIFAR-10、ImageNet的降采样版本和CelebA-HQ，展示了可学习转换的NDMs的实用性。NDMs在似然度和生成高质量样本方面优于传统传播模型。
发现论文，激发创造
  • 具有潜态扩散的生成模型采样与推断的理论保证

    本文介绍和研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观察变量是在扩散的终端点条件下绘制的。 通过随机控制的视角，我们为这种生成模型的采样和变分推断提供了统一的观点，并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案，并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。

    Mar, 2019

  • 变分扩散模型

    本文介绍了一种基于扩散的生成模型，并通过优化噪声时间表等带有高效率的方法，使其在标准图像密度估计基准测试中获得最先进的似然。

    Jul, 2021

  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022

  • 冷扩散: 无需噪声即可反转任意图像转换

    通过改变图像退化处理方法，可以构建一系列生成模型，并且即使使用完全确定性的退化方法，也可以轻松推广扩展扩散模型的训练和测试时间更新规则，为翻转任意过程的扩散模型打下基础，这一成功也质疑了该社区对扩散模型的理解。

    Aug, 2022

  • 理解扩散模型: 一种统一的视角

    本文中，我们在变分和基于分数的透视下回顾，阐释和统一了扩散模型的理解。我们提出了变分扩散模型（VDM），并证明优化VDM归结为学习神经网络来预测原始源输入，原始源噪声或噪声输入的分数函数。最后，我们介绍了如何使用扩散模型通过引导来学习条件分布。

    Aug, 2022

  • 构建桥梁：理解和扩展扩散生成模型

    本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和3D点云方面表现出色。

    Aug, 2022

  • 扩散模型：方法和应用综述

    本文概述了“扩散模型”在图像合成、视频生成、分子设计等领域中的应用, 并将相关研究分为三大类:高效采样、改进似然估计和处理具有特殊结构的数据。此外，还探讨了将扩散模型与其他生成模型相结合以获得更好结果的潜能，在计算机视觉、自然语言生成、时态数据模型等领域具有广泛的应用。本文旨在提供一个全面的扩散模型综述，指出其重点研究领域并指向未来的研究方向。

    Sep, 2022

  • 视觉中的扩散模型：一项调研

    本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾，包括在领域中的理论和实际贡献，提供了三种通用扩散建模框架，并介绍了扩散模型与其他深度生成模型之间的关系，并引入了在计算机视觉中应用扩散模型的多个视角分类，最后，我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。

    Sep, 2022

  • 神经网络扩散

    扩散模型以及自动生成的神经网络参数，通过混合使用自动编码器和标准潜在扩散模型，从训练网络参数的随机噪声中合成潜在参数表示，并生成具有可用性的新的网络参数子集，从而稳定地提升性能。

    Feb, 2024

  • 神经流动扩散模型：可学习的前向过程用于改进扩散建模

    传统扩散模型通常依赖于固定的前向过程，本文引入神经流扩散模型（NFDM），通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型，实现了无需模拟的端到端优化目标，从而有效地最小化负对数似然的变分上界。实验证据显示NFDM具有出色的性能，表现为最先进的似然估计。此外，我们还研究了NFDM在学习具有特定特征的生成动态，如确定性直线轨迹方面的潜力，这一探索彰显了NFDM的多样性和广泛应用潜力。

    Apr, 2024