Jan, 2024

挑选与绘制：无需训练的文本到图像个性化语义指导

PDF
TL;DR通过两个组件：外观拾取指导和布局绘制指导，我们提出了 Pick-and-Draw，一种无需训练的语义指导方法，以提高个性化方法的身份一致性和生成多样性。定性和定量实验证明，Pick-and-Draw 不断改善身份一致性和生成多样性，将主题忠实度与图像 - 文本忠实度之间的权衡推向一个新的帕累托前沿。
diffusion-based text-to-image personalizationmodel overfittingidentity consistencygenerative diversitypick-and-draw
发现论文，激发创造
  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 做回自己：多主体文本到图像生成的有限关注

    我们研究了文本到图像扩散模型中的语义泄漏问题，并提出了一种名为有界注意力的方法，通过限定信息流的路径来解决泄漏问题，从而提高多主题生成的质量。

    Mar, 2024

  • PanGu-Draw: 提高资源效率的文本到图像合成技术，采用时间解耦训练和可重复使用的合作扩散

    PanGu-Draw 是一种资源高效的潜在扩散模型，通过时间解耦训练策略和合作扩散算法，实现了高效的文本到图像合成和多控制图像生成。

    Dec, 2023

  • 语义绘图工程用于文本到图像的生成

    通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

    Dec, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • 无需训练的增强主体注意力引导的文本到图像生成

    我们提出了一种主题驱动的生成框架，通过介入生成过程中的推理时间，强化注意力图，实现精确的属性绑定和特征注入，展示了卓越的零次生成能力，尤其在组合生成的挑战性任务中。

    May, 2024