May, 2024

优秀的种子造就丰收：在文本 - 图像扩散模型中发现秘密种子

PDF
TL;DR我们对随机种子在扩散推断期间的影响进行了大规模的科学研究，并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响，并展示了通过使用这些优质的种子进行改进的图像生成，例如高保真推断和多样化采样。本研究突出了选择良好的种子的重要性，并为图像生成提供了实际效用。
text-to-image diffusion modelsrandom seedsimage synthesisseed impactimage generation
发现论文，激发创造
  • 从何处开始：带种子选择的文本图像生成

    研究了长尾训练数据对于文本到图像模型的影响，并提出了 SeedSelect 技术，通过在噪声空间中选择适当的初始种子，可以有效地生成罕见的图像概念，提高了模型效果，特别是在手部图像生成方面的表现得到了明显改善。

    Apr, 2023

  • 在 RGB 及更多领域的文本到图像扩散模型中检测图像归属

    对现代文本到图像 (T2I) 扩散模型进行了研究，这些模型可以生成非常逼真和具有创造力的图像。我们提供了广泛的分析，关于哪些推理阶段的超参数和图像修改是可辨认的。我们进一步调查了图像归属所依赖的视觉痕迹，通过扰乱高频细节和使用图像风格和结构的中级表示。我们的分析强调，与以前探索的视觉粒度相比，伪造图像在各个层面上都是可检测且可归属的。

    Mar, 2024

  • 可控生成的文本 - 图像扩散模型：一份综述

    在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

    Mar, 2024

  • 扩散模型生成的合成数据提升 ImageNet 分类准确性

    本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调，进而在 ImageNet 分类准确性得分上实现了显著的提升，证明了利用自然图像模型进行生成数据增强的可行性。

    Apr, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 探索文本到图像扩散模型的工作机制

    通过研究强潜在扩散概率模型在 T2I 生成过程中的中间状态，发现图像在早期生成阶段主要由文本引导完成，之后概率模型通过自身信息来完善生成图像的细节，并进一步提出了去除文本引导以加速 T2I 生成过程的方法，加速效果达到 25%+

    May, 2024

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 扩散模型其实是一个零样本分类器

    本文介绍了基于文本和图像结合模型的生成分类方法，利用如 Stable Diffusion 的扩展图像扩散模型提供的在不需要额外训练的条件概率密度估计，实现了零样本分类，并证明其能够在多种基准测试上获得强大的结果及优于竞争方法的效果，同时还发现与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的 SOTA 判别分类器相近的性能。

    Mar, 2023

  • 生成 AI 中的文本与图像扩散模型：一项调查

    本文综述了文本到图像扩散模型的发展现状及其在生成任务中的应用；此外，介绍了文本条件下图像合成、文本引导的创意生成和图像编辑，并探讨了当前的挑战和未来方向。

    Mar, 2023

  • 随机种子在计算机视觉深度学习架构中的影响 ——Torch.manual_seed (3407) 就是您所需要的全部

    本文研究了在计算机视觉中使用流行的深度学习结构时，随机种子选择对准确性的影响。作者在 CIFAR 10 上扫描了大量种子（多达 $10^4$），并在 Imagenet 上使用预训练模型扫描了较少的种子，结论是即使方差不是很大，仍然很容易找到表现比平均水平要好或差得多的离群值。

    Sep, 2021