CVPRMar, 2024

RealCustom: 实时开放领域文本到图像定制的实际文本缩窄

PDF
TL;DRText-to-image customization using RealCustom disentangles similarity from controllability by limiting subject influence, achieved through a train-inference decoupled framework, resulting in unprecedented similarity of given subjects and controllability of given text.
发现论文，激发创造
  • 基于扩散模型的个性化文本图像生成

    本文旨在提高高质量图像的合成与精确文字自定义，为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText，利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战，我们训练了 ControlNet 模型用于一致性解码，从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能，并展示出优越的结果。

    May, 2024

  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用 3-5 张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的 “单词”，从而达到自由创造。

    Aug, 2022

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • FreeCustom：无需调整参数的多概念组合定制图像生成

    提出一种基于参考概念的无需微调的方法生成多概念组合的定制图像，仅需每个概念一幅图像作为输入。通过引入多参考自注意力机制和加权蒙版策略，产生与给定概念一致且更好地与输入文本对齐的图像。与其他基于训练的方法相比，在多概念组合和单概念定制方面，方法表现优秀且更简单。

    May, 2024

  • 多分辨率文本反演

    本研究将文本反转技术扩展到不同分辨率，学习生成代表概念的伪词，并利用语言进行不同分辨率图像的生成和处理，允许用户根据需要生成不同分辨率的图像，可用于图像生成的多个方面，开源代码位于指定 URL。

    Nov, 2022

  • CustomVideo: 多主题文本生成定制视频

    在本工作中，我们提出了一种名为 CustomVideo 的新型框架，该框架可以生成多个主题引导下的保持身份特征的视频。我们通过将多个主题组合于单个图像中来促进多主题同时出现；在基本的文本到视频扩散模型上，我们设计了一种简单而有效的注意力控制策略，以在扩散模型的潜在空间中解开不同的主题；此外，为了帮助模型专注于特定的对象区域，我们从给定的参考图像中分割对象，并为注意力学习提供相应的对象蒙版。我们还收集了一个多主题文本到视频生成数据集作为全面的基准，其中包含 69 个个体主题和 57 个有意义的主题对。广泛的定性、定量和用户研究结果证明了我们方法的优越性，与之前的最先进方法相比。

    Jan, 2024

  • 定制化文本到图像生成的细节保留增强：一种无正则化方法

    通过建立一个包含编码器网络和新型的采样方法的框架，该文提出了一种用于文本到图像生成的自定义方法，无需使用规范化方法来解决过拟合问题且可以在很短的时间内自定义大规模的文本到图像生成模型。实验证明，该方法优于现有的方法，并保留更多的细节信息。

    May, 2023

  • 使用定制扩散模型进行文本引导的图像编辑

    该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

    May, 2023

  • RealCompo：现实主义与构成的动态平衡改进文本到图像扩散模型

    我们提出了一种新的训练免费和易于传输的文本到图像生成框架 RealCompo，旨在借鉴文本到图像和布局到图像模型的优势，增强生成图像的真实性和组合性，通过一个直观和新颖的平衡器动态平衡两个模型在去噪过程中的优势，允许任意模型的即插即用使用，广泛实验证明我们的 RealCompo 始终胜过最先进的文本到图像模型和布局到图像模型在多对象组合生成中同时保持令人满意的真实性和组合性。

    Feb, 2024

  • 文本到图片生成的定制助手

    建立基于预训练大型语言模型和扩散模型的定制助手，能够在无需微调的情况下进行自定义生成，实现与用户的更友好交互。

    Dec, 2023