Mar, 2023

文本到图像扩散模型是零样本分类器

PDF
TL;DR通过使用扩散模型的去噪能力作为代理，将零样本分类器应用于 Imagen，探究其知识方面并与 CLIP 进行比较，结果显示 Imagen 与 CLIP 在零样本图像分类方面表现相当，同时在形状 / 纹理偏差测试方面取得了最先进的结果，能够成功地执行属性绑定，而 CLIP 则不能。因此，我们认为应该探索将生成预训练作为一种有吸引力的视觉和视觉语言问题的替代方法。
text-to-image diffusion modelszero-shot classifiersimagenclipgenerative pre-training
发现论文，激发创造
  • 扩散模型其实是一个零样本分类器

    本文介绍了基于文本和图像结合模型的生成分类方法，利用如 Stable Diffusion 的扩展图像扩散模型提供的在不需要额外训练的条件概率密度估计，实现了零样本分类，并证明其能够在多种基准测试上获得强大的结果及优于竞争方法的效果，同时还发现与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的 SOTA 判别分类器相近的性能。

    Mar, 2023

  • VGDiffZero: 文本到图像扩散模型可以进行零射击视觉定位

    利用预训练的生成扩散模型直接应用于视觉定位的零阶视觉定位任务，以图文扩散模型为基础设计了一个全面的区域评分方法，证明了其在零阶视觉定位上的强大性能。

    Sep, 2023

  • 零样本开放词汇分割的扩散模型

    本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

    Jun, 2023

  • 终止令牌的奇怪案件：使用 CLIP 进行零射击解缠图像编辑

    使用 CLIP 能够以零样本的方式实现解耦编辑操作，在进行定性和定量对比后，展示了该方法的竞争性结果，为图像和视频编辑提供了一种轻量高效的解耦编辑方法。

    Jun, 2024

  • 文本到图像扩散模型是优秀的素描照片匹配工具

    这篇论文首次探索了用于零样本基于草图的图像检索的文本到图像扩散模型，发现其能够无缝地弥合草图与照片之间的差距，利用交叉模态能力和形状倾向性，通过我们的初步研究得到验证。为了有效利用预训练的扩散模型，我们引入了一种简单而有效的策略，着重于两个关键方面：选择最佳特征层和利用视觉和文本提示。通过识别最丰富信息且最适合特定检索要求（分类级别或细粒度）的层，然后使用视觉和文本提示来引导模型的特征提取过程，使其生成更具辨别力和相关上下文的交叉模态表示。在几个基准数据集上进行的大量实验证实了显著的性能提升。

    Mar, 2024

  • FreeSeg-Diff：基于扩散模型的无需训练的开放词汇分割

    该论文研究了基于开源预训练模型的零样本、无需训练的图像分割方法，通过结合不同的小型基础模型，利用扩散模型生成的特征，以及基于 CLIP 模型进行开放性词汇处理，实现了在 Pascal VOC 和 COCO 数据集上超越许多基于训练的方法并与最近的弱监督分割方法相媲美的结果。

    Mar, 2024

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • 用于文本到图像扩散模型的零样本空间布局调节

    使用文本生成图像的方法已显著提高了生成图像建模的状态，通过结合自然语言界面和空间控制，在本文中，我们考虑了与图像画布上特定位置对象相关的文本生成图像的问题，并提出了 ZestGuide，这是一种零 - shot 分割指导方法，可插入预先训练的文本到图像扩散模型中，我们的实验结果表明，在精准对齐所需的输入分割的情况下，与使用相应分割进行训练的组件相比，提高了图像质量，而在 COCO 数据集上，我们的结果比 Paint with Words 更好。

    Jun, 2023

  • 具有深度语言理解的照片级文本到图像扩散模型

    提出了一种 Imagin 技术，在理解文本方面，利用大型 transformer 语言模型，以高逼真度和深度的语言理解建立了文本到图像的扩散模型，实现了高保真的图像生成。通过一个全面的基准测试 DrawBench，该方法在图像 - 文本对齐和样本质量方面优于 VQ-GAN+CLIP、Latent Diffusion Models 和 DALL-E 2。

    May, 2022

  • 文本引导扩散图像风格迁移的零样本对比损失

    本文提出了一种零样式迁移的扩散模型，该零样式迁移使用零额外训练或辅助网络的对比损失来处理内容保留问题，并在图像样式转换和图像到图像翻译中取得了优于现有方法的效果。

    Mar, 2023