Oct, 2023

多样性和扩散：对稳定扩散下合成图像分布的观察

PDF
TL;DR通过对文本到图像系统的进展和合成图像在训练和推理过程中的不足进行研究，揭示了语义不匹配、多样性缺乏和表征基础概念的无能等问题，同时提出了对 CLIP 嵌入几何的令人惊讶的见解。
text-to-image systemssynthetic imageslimitationssemantic mismatchesclip embeddings
发现论文，激发创造
  • StableRep: 文本到图像模型的合成图像为强视觉表示学习者

    本研究探讨使用由文本到图像模型生成的合成图像学习视觉表示的潜力，提出一种多正对比学习方法，称为 StableRep。使用 20M 个合成图像训练的 StableRep 表现优于使用相同文本提示和对应真实图像的 SimCLR 和 CLIP 学习的表示，在大规模数据集上，加入语言监督之后， StableRep 的性能优于使用 50M 真实图像训练的 CLIP。

    Jun, 2023

  • 假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

    本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

    Dec, 2022

  • 通过扩散模型的类间图片混合提升图像分类

    通过 Diff-Mix 方法进行图像翻译以实现数据增强，实现更好的忠实度和多样性平衡，从而在各种图像分类场景中显著提高性能。

    Mar, 2024

  • 使用扩散模型揭示文本 - 图像不一致性

    为了解决在线误导信息的问题，该研究引入了 D-TIIL（基于扩散的文本 - 图像不一致性定位），采用文本对图像扩散模型来定位文本和图像对中的语义不一致性，并通过文本嵌入和修改后的图像区域进行可视化。

    Apr, 2024

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 通过稳定扩散提高合成数据多样性对零样本分类的促进效果

    本文研究了使用扩散模型生成的合成数据对分类器进行训练的零样本分类任务，并通过多元性模型提高数据集的多样性改进了其性能，通过这一认识为任何分类模型赋予了零样本分类能力。

    Feb, 2023

  • FakeInversion: 通过反转稳定扩散学习检测从未见过的文本图像模型生成的图像

    由于 GenAI 系统滥用的潜力很高，检测合成图像的任务最近备受研究界的关注。本文提出一种利用反转开源预训练的稳定扩散模型获取的特征的新型合成图像检测器。我们展示这些反转特征使得我们的检测器能够很好地泛化到高视觉保真度的未知生成器上（例如，DALL-E 3），即使该检测器仅在通过稳定扩散生成的低保真度伪图像上训练。这个检测器在多个训练和评估设置上取得了新的最先进水平。此外，我们引入了一种新的具有挑战性的评估协议，使用反向图像搜索来减轻检测器评估中的风格和主题偏见。我们展示所得的评估分数与检测器在野外的性能一致，并将这些数据集作为未来研究的公共基准发布。

    Jun, 2024

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

    通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

    Dec, 2023