- 通过随机微分方程统一贝叶斯流网络和扩散模型
通过连接种植扩散模型(DMs)的随机微分方程(SDEs),本文旨在理解和增强贝叶斯流网络(BFNs),从而迭代地通过贝叶斯推理改进各种噪声水平下分布的参数。通过这些发现并结合 DMs 中快速采样的现有方法,我们为 BFNs 提出了一种专用求 - ICLR基于偏倚数据集训练无偏离散模型
本文提出了一种时间相关的重要性重新加权方法来减轻扩散模型中的数据集偏差,并证明了时间相关密度比方法相较于之前的方法更准确,从而在生成学习中最小化误差传播。通过将时间相关密度比用于重新加权和得分校正,可以获得一个可行的目标函数来重建无偏数据密 - 基于球面高斯约束的条件扩散引导
通过使用不可微的损失函数进行指导,无需额外训练的扩散模型在处理条件生成任务方面取得一定的成功,但常常在样本质量方面有所妥协,需要较小的指导步长,从而导致较长的采样过程。本文揭示了损失指导带来的采样过程中流形偏离的根本问题,通过建立损失指导估 - S$^{2}$-DMs: 跳跃扩散模型
使用创新的 $L_{skip}$ 重新整合选择性采样阶段中省略的信息的一种新的训练方法 S$^{2}$-DMs 能够显著提高样本质量,并且实施简单,需要最少的代码修改,并且足够灵活以与各种抽样算法兼容。
- 具有感知损失的扩散模型
通过引入自我知觉目标,将扩散模型训练中使用的有噪自动编码器目标与无监督感知网络训练中使用的去噪自动编码器目标关联,我们提出了一种新的扩散模型,可以生成更真实的样本,而不会牺牲样本多样性。
- DPM-Solver-v3:改进的扩散 ODE 求解器与经验模型统计
该研究提出了一种新的改进方法,通过最小化高保真图像生成中的采样误差,建立了一种针对传播概率模型的新的快速 ODE 求解器 DPM-Solver-v3,并通过引入一些在预训练模型上高效计算的系数,提高了样本质量。
- 通过合作扩散恢复似然学习能量模型
我们提出了协同扩散恢复似然 (CDRL) 方法,该方法通过在逐渐噪声增加的数据版本上定义一系列的能量基模型 (EBM),并配对每个 EBM 的初始化模型,以从 EBMs 学习并采样,从而显著提高了样本质量。在 CIFAR-10 和 Imag - 扩散模型中负迁移问题的解决
本研究旨在从多任务学习 (MTL) 的角度分析扩散训练,提出了两个观察结果和应对负迁移的方法。我们通过对噪声去除任务进行训练,借助区间聚类将大量任务分为小块,并利用 MTL 方法提高样本质量。
- 一致性模型的等价性:一致性模型、一致性扩散模型和 Fokker-Planck 正则化
本文旨在建立三种最近针对不同目标设计的 ' 连续性 ' 概念之间的理论联系,从而为一种更全面和包容性的连续性模型框架提供潜力。
- PTQD:针对扩散模型的精确后训练量化
本研究提出了一种用于量化噪声和扩散扰动噪声的统一方法,并使用所提出的混合精度方案,校准降噪方差表并选取每个降噪步骤的最佳位宽,显著提高了量化后扩散模型的样本质量且减少了操作次数。
- FastFit: 通过多个 STFT 代替 U-Net 编码器,实现实时迭代神经声码器
本文介绍了一种新的神经声码器架构 FastFit, 其使用多个短时傅里叶变换 (STFT) 来替换 U-Net 编码器,从而实现更快的生成速度,而不会牺牲样品质量。通过客观和主观的评估,我们证明了该模型提高了将近两倍的基准迭代声码器的生成速 - StyleGAN-T: 用于快速大规模文本到图像合成的 GAN 强化技术
该论文旨在使用生成对抗网络改进大规模文本到图像合成,提出了 StyleGAN-T 模型,它在大规模文本到图像合成中具有大容量、稳定的训练、强文本对齐和可控变化与文本对齐平衡等特点,并在样本质量和速度方面显著优于以前的生成对抗网络和蒸馏扩散模 - 非分类器扩散引导
本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法,该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。
- KDD生成对抗网络的重参数采样
本文提出 REP-GAN,一种基于马尔可夫链重参数化的采样方法,能够在提高样本质量的同时大大提高采样效率。在合成和真实数据集上的广泛实验证实了 REP-GAN 的优越性。
- ICLR分布平滑改进的自回归建模
通过将随机平滑引入自回归生成建模中,我们在多个数据集上显著改善了现有自回归模型的样本质量,同时在合成数据集上获得了具有竞争力的可能性。
- 维度通用的正则化流
本研究介绍了一种名为 NIF 的流行有噪声映射模型,可以通过注入变换学习数据流形的降维表示,有效提高了样品质量和数据嵌入的可分性。
- 通过松弛可注入概率流实现规则化自编码器
提出了一种基于概率流的生成模型,通过对模型进行规范化,得到能够提高样本质量的最终目标,进而改进了变分自编码器和自编码器的性能。
- ICLR对抗性利普希茨正则化
本研究提出了一种名为 Adversarial Lipschitz Regularization 的方法,其可行地利用了显式的 Lipschitz 惩罚,并在训练 Wasserstein GANs 时表现出与隐式惩罚相同的性能表现,凸显了 L - 卷积的反向旋律
该研究使用卷积神经网络和阻塞 Gibbs 抽样方法生成音乐,比传统生成方法更加人性化和高质量。
- ICML使用较少标签进行高保真图像生成
本文介绍了如何利用自监督学习和半监督学习等技术结合生成式对抗网络,实现在仅使用少量标签数据的情况下,超越当前最先进的深度生成模型,并在 ImageNet 的无监督合成和有条件的情况下,匹配 BigGAN 模型的样本质量。