使用自注意力引导改善扩散模型的样本质量
基于扩散模型的采样指导技术在无条件生成和各种下游任务中限制较多,本研究提出一种称为 Perturbed-Attention Guidance (PAG) 的新型采样指导方法,通过渐进式增强样本结构,改善扩散采样的质量,并在条件和无条件场景下实现了显著性提升,同时在空提示的 ControlNet 以及图像修复(如修补和去模糊)等各种下游任务中也取得了显著的性能提升。
Mar, 2024
本文介绍了一种自导扩散模型的方法,它可以利用自我监督信号来提供图像生成的指导,而无需大量的图像注释对。通过结合特征提取功能和自注释功能,我们的方法可以为各种图像颗粒度提供指导信号,从整体图像到对象框甚至分割掩模。我们的实验表明,我们的方法在单标签和多标签图像数据集上总是优于无指导的扩散模型,甚至可能超过基于基础真实标签的指导,特别是在不平衡数据上。
Oct, 2022
Symplectic Adjoint Guidance (SAG) proposes a training-free guided sampling approach in diffusion models, improving accuracy and quality of image and video generation by estimating the clean image using multiple function calls and obtaining gradients efficiently.
Dec, 2023
本篇研究介绍了 self-guidance 这一新方法,通过指导扩散模型的内部表示,提供了对生成图像更强的控制力,可以从这些表示中提取对象的形状、位置和外观等属性,并使用它们来控制生成的采样,这种方法类似于分类器引导,但是不需要额外的模型或训练,作者演示了如何使用这种方法进行复杂的图像操作,如修改对象的位置或大小,合并图像中对象的外观和布局等,并证明了 self-guidance 还可以用于编辑真实图像。
Jun, 2023
通过对批处理内样本之间的流形结构进行结构引导的对抗训练,我们引入了一种新的 SADM 扩散模型,显著提高了现有扩散模型的性能,并在图像生成和跨域微调任务中优于现有方法,在 12 个数据集上建立了分辨率为 256x256 和 512x512 的图像网上新的 FID 技术,分别为 1.58 和 2.11。
Feb, 2024
通过匹配隐式和显式因素,我们提出了一种新的方法,以解决生成模型中的采样难题,该方法利用隐式模型匹配噪声数据的边缘分布和前向扩散的显式条件分布,以有效地匹配联合降噪分布,并获得与扩散模型相当的生成性能和比采样步骤少的模型相比更好的结果。
Jun, 2023
通过提取扩散模型的指导信号以及应用自监督学习背骨(如 DINO)进行指导,我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献,取得了卓越的性能,优于大规模数据集中的相关基准比较,如 ImageNet256、ImageNet256-100 和 LSUN-Churches。
Dec, 2023
该研究探讨了图像合成模型的细粒度、连续控制,提出了一种新的语义扩散引导统一框架,可以注入预训练的无条件扩散模型的语言或图像指导,并在 FFHQ 和 LSUN 数据集上进行了实验。
Dec, 2021
本文提出利用去噪技术提升分类器性能的方法,通过在正向扩散过程中(从数据到噪音)训练分类器并引入去噪样本,与传统单纯训练噪声样本的扩散分类器相比,达到了更好的泛化性能和视觉效果,并描述了一种半监督框架的基于扩散模型的训练方法及实验结果。
Jun, 2023
通过构建一个主题不可知条件并应用我们提出的双分类器自由指导,我们展示了我们的方法在生成与给定主题和输入文本提示一致的输出方面的有效性,并通过优化和编码方法验证了我们的方法的可行性,同时还展示了其在二阶定制方法中的适用性。
May, 2024