Dec, 2022

稳定的艺术家：在扩散潜空间中引导语义

PDF
TL;DR利用基于文本的生成式模型生成高保真度图像的表现十分引人注目。然而，通过微调输入来实现对图像的高度控制仍然有很大的挑战。为了解决这一问题，研究者提出了一种称为稳定艺术家的图像编辑方法，它利用语义引导来沿着语义方向控制扩散过程中的不同变量数量，从而实现对图像的微调。通过这种方法，可以灵活地调整图像的构图、样式和整体艺术概念，并深入了解模型所学概念的表现，包括复杂的概念，如 “碳排放”。研究结果表明，在多项任务中，该方法能实现高质量的图像编辑和构图。
text-conditioned generative modelsimage generationsemantic guidancelatent spaceimage editing
发现论文，激发创造
  • SEGA：利用语义维度指导扩散

    本文介绍了一种名为 SEGA 的文本生成图像方法，它能够使用户控制语义方向以生成多样化的高保真图像，并且在多种任务上展现了它的有效性和灵活性。

    Jan, 2023

  • 可控多领域语义艺术创作

    我们提出了一个新颖的多领域艺术品合成框架，通过语义布局生成艺术作品。我们还提出了一种名为 ArtSem 的数据集，包含 40,000 张不同领域的艺术品图像及其对应的语义标签地图。利用条件生成对抗网络（GAN），我们在不需要成对训练数据的情况下，从语义地图生成高质量的艺术品。我们的模型能够学习样式和语义信息的结合表示，从而提高生成艺术图像的质量。通过结合数据集和方法，我们能够生成用户可控的高质量艺术作品。

    Aug, 2023

  • 通过稳定扩散的步态感知和层级感知提示实现高度逼真的艺术风格转换

    提出了一种名为 LSAST 的新型基于预训练扩散的艺术风格转换方法，能够生成高度逼真的艺术化风格图像，并在保留输入图像的内容结构方面表现出较好的效果，而不引入明显的伪影和不协调的风格图案。

    Apr, 2024

  • DreamArtist: 通过对比度提示调整实现可控的一次性文本到图像生成

    DreamArtist 是一种简单有效的方法，采用正负 prompt-tuning 学习策略，在保持生成可控性的同时生成多样化高质量图片，相比现有方法具有更出色的生成表现。

    Nov, 2022

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • ARTIST: 复杂文本图像生成的解耦改进

    通过引入一个专门关注文本学习的新框架 ARTIST，有助于提升扩散模型在生成富文本图像时的文本渲染能力，并利用预训练的大型语言模型来解释用户意图，提高生成质量。在 MARIO-Eval 基准测试上的实证结果表明，该方法在各种度量标准上的性能提升达到了 15%。

    Jun, 2024

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 使用稳定扩散进行无监督语义对应

    本论文提出了一种新的利用语义知识的图像生成方法，通过优化模型中的提示值，可以实现在多张图片中寻找相同语义意义的位置，可以在多个数据集上达到最先进的性能。

    May, 2023

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023