Mar, 2024

重新思考基于聚类条件的扩散模型

PDF
TL;DR通过使用集群分配，我们对图像级别调制的扩散模型进行了全面的实验研究，并阐明了图像集群的个别组件对三个数据集上图像合成的影响。结合图像集群和扩散模型的最新进展，我们表明，给定图像合成的最优集群粒度（可视化组），集群调制可以实现最先进的 FID（即在 CIFAR10 和 CIFAR100 上分别为 1.67 和 2.17），同时具有强大的训练样本效率。最后，我们提出了一种通过仅基于特征的聚类来导出上部集群界限的新方法，从而减少视觉组的搜索空间。与现有方法不同，我们发现聚类与集群条件图像生成之间没有显著的联系。代码和集群分配将会发布。
发现论文，激发创造
  • 基于聚类的条件扩散模型用于食物图像生成

    基于条件扩散模型和聚类的训练框架，名为 ClusDiff，用于生成高质量和代表性食物图像，并用 Food-101 数据集进行评估，与现有的图像生成方法相比，性能有所提高；同时展示了 ClusDiff 生成的合成食物图像在 VFN-LT 数据集中有助于解决长尾食物分类中的严重类别不平衡问题。

    Sep, 2023

  • 利用扩散模型对输入噪声进行调控以进行可控图像生成

    通过给扩散模型输入精制的噪声来提高其控制性，从而可以产生基于语义属性的图像。

    May, 2022

  • 扩散模型对抗生成网络 (GANs) 在图像合成方面占优

    通过扩散模型和分类器引导，我们的图像合成方法在 FID 指标以及覆盖分布方面优于现有的生成模型，我们的代码开源。

    May, 2021

  • 模糊条件扩散和扩散投影注意力在面部图像修正中的应用

    本文提出了一种模糊条件扩散，可以控制强度和对不同图像组件进行不同程度的修改，结合扩散衍生的注意力图，实现了面部图像纠正的自主和可解释性。

    Jun, 2023

  • 条件扩散蒸馏

    通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏技术，并且是第一个能够与更慢的精细调优有条件扩散模型相匹配的蒸馏策略。

    Oct, 2023

  • 级联扩散模型用于高保真图像生成

    通过级联扩散模型和条件增强，我们成功的在 class-conditional ImageNet generation benchmark 上生成了高保真图像，并取得了优越的 FID scores 和分类精度。

    May, 2021

  • 受限扩散指导的可控图像合成

    该研究提出了一种称为 late-constraint 的新方法，使用轻量级条件适配器来建立扩散模型内部表示和外部条件之间的相关性，并通过时间步长重采样和早期停止技术提高合成图像的质量。

    May, 2023

  • 扩散式生成模型设计空间的阐明

    我们提出了一种设计空间，清晰地分离具体的设计选择，从采样和训练过程以及得分网络的预处理中识别了几个变化。通过改进，我们以比之前的设计更快的采样速度（每张图像 35 个网络评估）在条件设置下获得了 1.79 FID，无条件设置下获得了 1.97 FID，达到了新的最先进水平。

    Jun, 2022

  • 以自身的错误版本引导扩散模型

    使用自身较小、较少训练的模型而不是无条件模型，引导生成图像，可以获得图像质量分离的控制，同时不减少变化量。这在 ImageNet 生成方面有显著的改进，64x64 像素的 FID 为 1.01，512x512 像素的 FID 为 1.25，使用公开可用的网络。此方法还适用于无条件扩散模型，大幅提高它们的质量。

    Jun, 2024

  • 基于扩散模型的少样本图像合成的条件分布建模

    条件分布建模 (CDM) 是一种有效利用扩散模型进行少样本图像生成的框架，通过对用于条件化扩散过程的潜空间分布进行建模，CDM 利用训练数据的学习统计信息更好地近似未见类别的分布，从而消除因少样本样本数目限制而引起的偏见，同时我们还设计了一种新颖的基于反演的优化策略，进一步改进了近似的未见类别分布，确保生成样本与未见类别的准确性。我们在四个基准数据集上的实验结果表明了我们提出的 CDM 在少样本生成中的有效性。

    Apr, 2024