扩散模型中实用且渐近精确的条件抽样
通过使用一种改进的采样策略,我们提供了一种可以增加扩散模型的生成多样性的方法,尤其是在高指导尺度下,同时最小化样本质量损失。该方法通过在推理过程中向条件向量添加预定的、单调递减的高斯噪声来退火条件信号,以平衡多样性和条件对齐。我们的 Condition-Annealed Diffusion Sampler (CADS) 可以与任何预训练模型和采样算法一起使用,并且我们证明它在各种条件生成任务中提高了扩散模型的多样性。此外,通过使用现有的预训练扩散模型,CADS 在 256×256 和 512×512 像素的类条件 ImageNet 生成任务中取得了新的最优 FID 值,分别为 1.70 和 2.31。
Oct, 2023
使用 Transition-aware weighted Denoising Score Matching(TDSM)训练带有噪声标签的条件扩散模型,其中 TDSM 目标函数包含得分网络的加权和,并整合了实例级和时间相关的标签转移概率。通过在各种数据集和噪声标签设置上进行实验证明,TDSM 可以提高与给定条件相匹配的生成样本的质量,甚至在常见基准数据集上也能提高生成性能,从而证明了噪声标签对于生成模型学习的潜在风险以及 TDSM 在传统噪声标签修正的基础上进一步提高性能的实证贡献。
Feb, 2024
通过图像条件实现的一种新颖的有条件蒸馏方法,将扩散模型的先验知识与图像条件相结合,大大简化了以往两阶段的蒸馏过程,并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制,实验结果表明,该方法在多个任务上的表现优于现有的人工蒸馏技术,并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。
Oct, 2023
探索了无特定任务条件下以时间序列为基础的扩散模型,通过自我引导机制,在推理过程中对 TSDiff 进行条件处理,并且不需要辅助网络或改变训练程序。展示了方法在预测、细化和合成数据生成三个时间序列任务中的有效性。
Jul, 2023
通过开发一种概率近似方案,使扩散模型能够在推理时间内有条件地采样非线性用户定义事件,从而匹配数据统计,即使从分布的尾部进行采样。
Jun, 2023
本文通过提出一种锐利的统计理论,通过采用条件扩散模型进行分布估计,以实现对数据分布平滑性的自适应样本复杂度界限,并与极小 max 求解下界相匹配。通过对条件分数函数的近似结果揭示了理论的关键发展,该结果依赖于一种新型扩散泰勒逼近技术。此外,在求解逆问题和奖励条件样本生成等多种应用中,我们还展示了统计理论的实用性。
Mar, 2024
通过逆扩散过程进行采样的 RS-DMC 算法,利用新颖的递归评分估计方法,设计高效的算法来解决 Diffusion-based Monte Carlo 中高梯度复杂度问题,并在常用耗散条件下证明其比常用 Langevin-based 算法速度更快,为解决采样问题提供了新的方向。
Jan, 2024
通过统一条件训练和条件采样程序,本文基于数学上理解的 Doob 的 h 转换方法提出了一个新的视角,揭示了现有方法之间的联系,并提出了一种新的改进方法,通过在图像外延和结构基元搭建方面的实验证明了其有效性。
Dec, 2023
我们介绍了一种名为可控条件扩散的新型采样框架,它将去噪扩散模型与可用的测量数据相结合,实现了对多样的成像模态下的离群任务的显著改进,推动了去噪扩散模型在实际应用中的鲁棒部署。
Aug, 2023
本研究提出了一种新的有条件扩散模型 ShiftDDPMs,通过将条件引入正向过程,为每个条件分配一个独特的扩散轨迹,并通过定向规则来实现条件建模,从而提高模型的学习能力和生成效果。在图像合成方面进行了广泛的实验,证明了 ShiftDDPMs 的可行性和有效性。
Feb, 2023