May, 2023

定制化文本到图像生成的细节保留增强：一种无正则化方法

PDF
TL;DR通过建立一个包含编码器网络和新型的采样方法的框架，该文提出了一种用于文本到图像生成的自定义方法，无需使用规范化方法来解决过拟合问题且可以在很短的时间内自定义大规模的文本到图像生成模型。实验证明，该方法优于现有的方法，并保留更多的细节信息。
text-to-image generationcustomizationregularizationencoder networkfine-grained details
发现论文，激发创造
  • 文本到图片生成的定制助手

    建立基于预训练大型语言模型和扩散模型的定制助手，能够在无需微调的情况下进行自定义生成，实现与用户的更友好交互。

    Dec, 2023

  • 使用文本到图像扩散模型驯服编码器，实现零微调图像个性化定制

    本文提出了一种基于编码器和文本到图像合成模型的方法，用于生成用户定制的对象图像，经过实验验证表明该方法能够产生具有魅力的高质量、多样化和逼真度高的图像。

    Apr, 2023

  • 基于图像和文本引导的无需调参图像定制

    通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

    Mar, 2024

  • 增强身份保护对于扩散个性化的数据观点

    使用大型文本到图像模型生成图像的能力已经引起了巨大的变革，但是对于特定独特或个人化的视觉概念，如您的宠物、屋内物品等，并不能被原始模型捕捉到。本文通过采用数据为中心的方法，提出了一种新颖的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，进一步提高图像质量，并能生成符合输入文本提示的多样样本。实验证明，我们的数据为中心的方法在图像质量方面具有新的技术实力，在身份保留、多样性和文本对齐之间取得了最佳的平衡。

    Nov, 2023

  • 培养多轮思维的文本引导图像生成

    本研究针对文本引导的图像生成任务，通过引入多轮规则化方法解决了单次优化忽略细节的问题，特别是在细微变化方面。我们的方法在文本引导的生成任务中展现了高保真度的生成质量，并在与文本的语义匹配方面得到了竞争性的表现。

    Jan, 2024

  • 基于生成数据集的正则化训练：仅包含名称的视觉 - 语言模型转化

    通过对生成图像进行微调，本文研究目的是解决在生成的数据集上微调以特定分类模型的视觉 - 语言模型时所面临的挑战，并提供两种正则化方法来克服实际图像与生成图像之间的领域差异。经过广泛的实验验证，所提出的分析和正则化技术有效减轻了一直被忽视的领域差异，并使得在生成图像上的训练达到了最先进的性能。

    Jun, 2024

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • 基于扩散模型的个性化文本图像生成

    本文旨在提高高质量图像的合成与精确文字自定义，为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText，利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战，我们训练了 ControlNet 模型用于一致性解码，从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能，并展示出优越的结果。

    May, 2024

  • 面向领域无关的调节编码器，用于快速个性化文本到图像模型

    本文提出了一种基于编码器的文本到图像（T2I）个性化生成方法，使用一种对领域不敏感的对比度正则化技术来实现目标概念特征的高保真度，并将预测的嵌入值保持在可编辑的潜在空间区域，从而实现了基于 CLIP（一种联合学习图像和文本的新型表示方法）标记的最短距离。实验结果证明了我们方法的有效性和学习标记比未规范化模型预测的标记更具语义性的优点，并且比以前的方法更加灵活，表现出最先进的性能。

    Jul, 2023