May, 2024

多主题个性化

PDF
TL;DR创意故事插图需要多个字符或对象的一致互动，然而传统的文本到图像模型在生成具有多个个性化主题的图像时面临挑战，如主题渲染失真或文本描述无法呈现一致的主题互动。我们提出了多主题个性化（MSP）以减轻其中的一些挑战，通过使用稳定扩散实现 MSP，并将其与其他文本到图像模型进行评估，展示了其一致生成代表预期主题和互动的高质量图像。
creative story illustrationtext-to-image modelsmultiple personalized subjectscoherent subject interactionsmulti-subject personalization
发现论文，激发创造
  • MS-Diffusion：基于布局引导的多主体零样本图像个性化

    我们的研究引入了 MS-Diffusion 框架，用于基于布局指导的零样本图像个性化处理多主题，融合了引用令牌和特征重采样以保持细节的准确性，并通过跨主题注意力来实现各自主题条件对特定区域的影响，通过全面的定量和定性实验，证明该方法在图像和文本的准确性方面优于现有模型，推动个性化的文本到图像生成的发展。

    Jun, 2024

  • Cones 2: 多主体定制图像合成

    研究在多个主题约束下如何高效地表示一个特定主题以及如何适当地组合不同主题，并提出了一种方案，该方案利用文本嵌入和布局来生成图像，并通过实验证明了其在多个主题的自定义方面具有优越性。

    May, 2023

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 文本生成图像模型的多主体个性化中的身份解耦

    借助 Segment Anything 模型生成分割主题，我们提出了一个名为 MuDI 的新框架，实现了多主题个性化图像生成，避免了不同主题间的混合属性，实验证明 MuDI 能够在人评测试中产生高质量的个性化图像，并且相较强基线有两倍的成功率和超过 70％的偏好度。

    Apr, 2024

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • 增强身份保护对于扩散个性化的数据观点

    使用大型文本到图像模型生成图像的能力已经引起了巨大的变革，但是对于特定独特或个人化的视觉概念，如您的宠物、屋内物品等，并不能被原始模型捕捉到。本文通过采用数据为中心的方法，提出了一种新颖的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，进一步提高图像质量，并能生成符合输入文本提示的多样样本。实验证明，我们的数据为中心的方法在图像质量方面具有新的技术实力，在身份保留、多样性和文本对齐之间取得了最佳的平衡。

    Nov, 2023

  • 通过细分和双重绑定实现任何艺术风格的文本到图像合成

    该研究论文介绍了一种名为 Single-StyleForge 的新方法，用于将预训练的文本到图像扩散模型进行个性化训练，从文本提示中生成指定风格的多样化图像。此外，研究还提出了一种名为 Multi-StyleForge 的改进方法，通过学习多个标记来改善风格和文本 - 图像对齐的质量，在六种不同的艺术风格上实验评估表明，在生成的图像质量和感知保真度指标（如 FID、KID 和 CLIP 分数）方面取得了显着的改善。

    Apr, 2024

  • CustomVideo: 多主题文本生成定制视频

    在本工作中，我们提出了一种名为 CustomVideo 的新型框架，该框架可以生成多个主题引导下的保持身份特征的视频。我们通过将多个主题组合于单个图像中来促进多主题同时出现；在基本的文本到视频扩散模型上，我们设计了一种简单而有效的注意力控制策略，以在扩散模型的潜在空间中解开不同的主题；此外，为了帮助模型专注于特定的对象区域，我们从给定的参考图像中分割对象，并为注意力学习提供相应的对象蒙版。我们还收集了一个多主题文本到视频生成数据集作为全面的基准，其中包含 69 个个体主题和 57 个有意义的主题对。广泛的定性、定量和用户研究结果证明了我们方法的优越性，与之前的最先进方法相比。

    Jan, 2024

  • 无需训练的一致文本图像生成

    ConsiStory 是一种无需训练的方法，通过共享预训练模型的内部激活来实现一致的主题生成，同时采用基于主题的共享注意力块和基于对应关系的特征注入来促进图像之间的一致性。通过与各种基线对比，我们展示了 ConsiStory 在主题一致性和文本对齐方面的最先进性能，而无需进行任何优化步骤。最后，ConsiStory 可以自然地扩展到多主题场景，甚至可以对常见物体进行无需训练的个性化。

    Feb, 2024

  • MM-Diff: 多模态条件融合的高保真图像个性化

    为了提高主题准确性，我们提出了 MM-Diff 的统一且无需调参的个性化图像生成框架，能够在几秒钟内生成单个和多个主题的高保真图像。MM-Diff 利用视觉编码器将输入图像转换为 CLS 和 patch 嵌入，而通过设计精良的多模态交叉注意机制，CLS 嵌入一方面用于增强文本嵌入，另一方面与 patch 嵌入一起用于生成少量细节丰富的主题嵌入，并且在训练过程中引入了交叉注意图约束，确保推理过程中的灵活多主题图像采样。大量实验证明了 MM-Diff 相对于其他主要方法的优越性能。

    Mar, 2024