Dec, 2023

个性化文本图像生成的交叉初始化

PDF
TL;DR通过初始化方法的研究，我们提出了一种称为 Cross Initialization 的新型初始化方法，它明显缩小了初始嵌入和学习嵌入之间的差距，通过与正则化项相结合，有效提高了可编辑性，并在编辑人脸表情方面取得了成功，同时实现了较快的图像捕获速度和较好的重建和可编辑性。
face personalization techniquestextual inversioninitializationembeddingeditability
发现论文，激发创造
  • 文本倒装用于概念审查的后门技术

    通过在 Textual Inversion 嵌入式中注入后门技术，实现概念审查，以防止个人化技术被恶意用户滥用。

    Aug, 2023

  • 无梯度文本反演

    本文提出了一种基于进化策略的梯度自由框架，用于优化文本反演的过程，试图解决个性化文本生成中因梯度下降算法的内存消耗大、部署复杂等问题。实验结果表明，采用该方法生成的文本图像与采用梯度下降方法生成的相比，性能几乎没有损失，但能够获得更高的计算效率和更广泛的适用性。

    Apr, 2023

  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用 3-5 张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的 “单词”，从而达到自由创造。

    Aug, 2022

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • 视觉和文本嵌入的零样本文本到图像定制的协调

    通过引入正交视觉嵌入并利用自我注意力交换，我们提出了一种高效维护主题身份的方法，以解决文本到图像模型中遭遇的问题，并展示了该方法的效果和鲁棒性。

    Mar, 2024

  • AttnDreamBooth: 面向文本对齐的个性化文本与图像生成

    该研究针对文本到图像个性化合成过程中的限制性问题，分析了两种主要技术（文本反转和 DreamBooth）的不足之处，并引入了一种名为 AttnDreamBooth 的新方法来解决这些问题，通过在不同的训练阶段分别学习嵌入对齐、注意力图和主体身份。同时，采用交叉注意力图正则化项来增强对注意力图的学习，相较于基准方法，我们的方法在保护身份信息和文本对齐方面取得了显著改进。

    Jun, 2024

  • 可控个性化文本到图像生成的文本反转

    本文提出了一种名为 COTI 的新方法，应用在大规模生成模型中，通过一个综合的、新颖的加权评分机制指导的理论损失目标，实现了具有鲁棒性、数据高效性和易于使用等特点，能够显著提升 FID 得分并增加 R-precision 的生成模型，一定程度上解决了过往生成模型中仍存在的问题。

    Apr, 2023

  • 在人脸上即时调整文本到图像模型

    本论文利用 Face0 增强了图像生成模型的性能并且解决了一些基于文本生成图像时的偏差问题，可以通过文本或直接操作输入人脸嵌入来控制生成的图像。

    Jun, 2023

  • 通过利用文本子空间提高高效个性化文本到图像生成

    我们提出了一种有效的方法来在文本子空间中探索目标嵌入，借鉴了自我表现性特性，并提出了一种有效的选择策略来确定文本子空间的基向量。实验评估表明，所学习的嵌入不仅能够忠实地重构输入图像，还能显著改善其与新的输入文本提示的对齐性。此外，我们观察到在文本子空间中优化能够显著提高对初始词的鲁棒性，从而放宽了用户需要输入最相关初始词的约束。我们的方法为个性化文本到图像生成的更高效的表示学习打开了大门。

    Jun, 2024

  • 稳定扩散模型的组合逆转

    通过引入核心分布和空间正则化方法，我们的研究提出一种针对合成嵌入图像中过拟合问题的反转过程指导方法，使生成的图像中的概念更加多元和均衡。

    Dec, 2023