ICMLMay, 2024

扩散拒绝采样

PDF
TL;DR该论文介绍了扩散拒绝采样（DiffRS）方法，它使用拒绝采样方案，在每个时间步中将采样转换核与真实核对齐。该方法可以视作在每个中间时间步评估样本质量并根据样本的不同努力对其进行改进的机制。理论分析表明，与预训练模型相比，DiffRS 可以实现更紧的采样误差边界。实证结果证明了 DiffRS 在基准数据集上的最先进性能以及在快速扩散采样器和大规模文本到图像扩散模型上的有效性。
发现论文，激发创造
  • 鉴别器拒绝抽样

    本论文提出了一种使用 GAN 的鉴别器进行拒绝取样的方案，以近似校正 GAN 生成器分布中的错误，并在实际数据集上设计了一种名为鉴别器拒绝取样 (DRS) 的实用算法，以此改进了图片生成任务中的模型表现。

    Oct, 2018

  • 通过样本质量差分学习扩散模型的快速采样器

    通过 Differentiable Diffusion Sampler Search 方法优化 Diffusion Models 的 samplers，使用 Generalized Gaussian Diffusion Models 生成高质量的样本，实现无条件图像生成。

    Feb, 2022

  • 强化学习的扩散谱表示

    扩展现有方法以适用于更广泛的现实世界应用的关键挑战在于推理时间的计算成本，我们提出了一种利用扩散模型在表示学习视角下的灵活性的 Diff-SR 方法，该方法能够从马尔可夫决策过程（MDP）和部分可观察马尔可夫决策过程（POMDP）中提取足够的价值函数表示，从而实现效率的策略优化和实际算法，并明确绕过从扩散模型中采样的困难和推理成本。

    Jun, 2024

  • ResShift: 图像超分辨率的高效扩散模型通过残差移动

    为解决扩散图像超分辨率方法的低推理速度和性能下降问题，我们提出了一种新颖和高效的扩散模型，通过减少扩散步骤的数量，消除了推理过程中的加速要求以及性能恶化，并通过在高分辨率图像和低分辨率图像之间转移残差来显著提高转换效率。实验显示，该方法在合成和真实数据集上均能获得优秀或至少相当于当前最先进方法的性能，即使只使用 15 个采样步骤。

    Jul, 2023

  • 离散扩散模型的快速采样通过去随机化

    通过提出一种新颖的去随机扩散过程，我们加速了离散扩散模型的算法；我们还引入了一种连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明，在自然语言生成和机器翻译任务中，我们的方法在离散扩散模型的生成速度和样本质量方面表现出优越性。

    Dec, 2023

  • 反射扩散模型

    该研究提出了反射扩散模型用于处理复杂任务中分数扩散模型中的数值误差，通过学习扰动得分函数，并扩展标准扩散模型的关键组成部分，包括扩散指导、基于似然的训练和 ODE 采样来从数据支持的反射随机微分方程开始进行反演。

    Apr, 2023

  • CRS-Diff: 可控卫星遥感基础模型生成

    提出了一种专门针对遥感图像生成的扩散建模框架 CRS-Diff，利用扩散模型的内在优势并整合先进的控制机制，以确保图像不仅在视觉上清晰，而且充满地理和时间信息。综合评估证明，CRS-Diff 在图像质量和多样性方面相对于之前的方法具有卓越的生成能力。

    Mar, 2024

  • [Re] 双采样随机平滑

    该论文提出了一种名为 “Double Sampling Randomized Smoothing (DSRS)” 框架的方法来提高神经网络的抗干扰性认证，并通过实验验证了其效果。

    Jun, 2023

  • 图像恢复的高效扩散模型：残差位移

    通过建立马尔可夫链以提高高质量图像和低质量图像之间转换的效率，并通过精心设计的噪声方案灵活控制扩散过程中的转移速度和噪声强度，本研究提出了一种新的高效扩散模型用于图像恢复，表现优越或可媲美现有的方法，甚至只需进行四步采样。

    Mar, 2024

  • 渐进式蒸馏：用于快速采样扩散模型

    通过新的参数化方法和扩散模型的渐进提炼过程，从而在不降低感知质量的前提下将采样步骤尽量减少到四步，从而提高了采样效率，并为生成建模提供了高效的解决方案。

    Feb, 2022