Apr, 2024

基于编码器的文本到图像个性化的 LCM-Lookahead

PDF
TL;DR通过使用快速采样方法以及对编码器进行个性化训练，本研究探索了将快速采样方法用于文本到图像模型个性化，并通过预测身份目标让模型在保持多样性和对齐性的同时提高身份准确性的潜力。同时，研究还发现注意力共享机制和一致的数据生成对于编码器训练都有益处。
发现论文，激发创造
  • 个性化扩散的身份编码器

    论文探讨了使用编码器和扩散生成器来进行个性化图像生成的方法，并比较了该方法与 Fine-tuning 等已有方法的性能，实验结果表明，该方法在图像生成和重建上表现更好，且适用于更多应用场景。

    Apr, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 使用文本到图像扩散模型驯服编码器，实现零微调图像个性化定制

    本文提出了一种基于编码器和文本到图像合成模型的方法，用于生成用户定制的对象图像，经过实验验证表明该方法能够产生具有魅力的高质量、多样化和逼真度高的图像。

    Apr, 2023

  • 面向领域无关的调节编码器，用于快速个性化文本到图像模型

    本文提出了一种基于编码器的文本到图像（T2I）个性化生成方法，使用一种对领域不敏感的对比度正则化技术来实现目标概念特征的高保真度，并将预测的嵌入值保持在可编辑的潜在空间区域，从而实现了基于 CLIP（一种联合学习图像和文本的新型表示方法）标记的最短距离。实验结果证明了我们方法的有效性和学习标记比未规范化模型预测的标记更具语义性的优点，并且比以前的方法更加灵活，表现出最先进的性能。

    Jul, 2023

  • 使用文本编码强化学习增强扩散模型

    通过强化学习对文本编码器进行微调，可以提高文本与图像之间的对齐效果，从而提升图像质量。

    Nov, 2023

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 大型语言模型在扩散模型中的提示编码作用探索

    利用新提出的框架，将大型语言模型与文本到图像生成模型灵活地集成在一起，并通过消除固有的位置偏差和增强文本表示能力提高预测性能。

    Jun, 2024

  • TextCraftor: 您的文本编码器可以成为图像质量控制器

    通过提出的 fine-tuning 方法 TextCraftor，我们可以增强 Stable Diffusion 使用的 CLIP 文本编码器，从而在定量基准和人类评估方面实现了显著改进，并且我们的技术还通过不同奖励的细调文本编码器的插值使得可以进行可控的图像生成，同时我们也证明了 TextCraftor 与 UNet finetuning 可以相互独立并且结合以进一步提高生成质量。

    Mar, 2024

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • 一种基于训练无关的人物图像生成方法

    提出了一种名为 Character Image Feature Encoder 的模型，它能够通过简单地提供角色图片来生成符合预期的人物角色图像，而不需要对每个个体 / 动画角色图像进行训练，可以方便地将其集成到现有的生成模型中。

    May, 2023