IDAdapter: 学习混合特征以实现无需调参的文本到图像模型个性化

Mar, 2024

IDAdapter: 学习混合特征以实现无需调参的文本到图像模型个性化

IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models

Siying Cui, Jiankang Deng, Jia Guo, Xiang An, Yongle Zhao...

TL;DRIDAdapter 是一种无需微调的方法，通过在生成过程中结合文本和视觉注入以及面部身份损失，从单个人脸图像中增强个性化图像生成的多样性和身份保留。通过将特定身份的多个参考图像的混合特征融入训练阶段，丰富相关身份的内容细节，指导模型生成具有比以往作品更多样的风格、表情和角度的图像。广泛的评估显示了我们方法的有效性，在生成的图像中实现了多样性和身份保真度。

Abstract

Leveraging Stable Diffusion for the generation of personalized portraits has emerged as a powerful and noteworthy tool, enabling users to create high-fidelity, custom character avatars based on their specific prompts. However, existing personalization methods face challenges, including

personalized portraits idadapter image generation identity preservation diversity

发现论文，激发创造

Inv-Adapter：基于图像反转和轻量级适配器的 ID 个性化生成

利用预训练的文本图像模型通过 DDIM 图像反转提取 ID 图像的传播域表示，不需要额外的图像编码器，然后通过精心设计的轻量级注意力适配器将提取的 ID 提示特征和文本图像模型的中间特征有效地嵌入到基础文本图像模型中，从而为 ID 定制生成和模型规模上提出的 Inv-Adapter 在 ID 忠实度、生成忠诚度、速度和训练参数等方面进行了广泛的实验评估表明其具有很高的竞争力。

Jun, 2024

无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

Mar, 2024

ID-Aligner: 用奖励反馈学习增强保持身份的图文生成

通过引入通用反馈学习框架，本研究提出了 ID-Aligner 方法用于改进 ID-T2I 性能，解决参考肖像的身份特征保留、生成图像的美学吸引力缺失以及与 LoRA 和 Adapter 方法的兼容性等关键问题。大量的实验证明了这一方法的有效性。

Apr, 2024

PhotoVerse: 文本到图像扩散模型的无需调整图像自定义

基于用户特定概念和提示创建自定义图像的个性化文本到图像生成技术已崭露头角，但现有方法在个性化方面面临多个挑战。为了解决这些障碍，我们提出了一种创新的方法 - PhotoVerse，在文本和图像领域中融入双分支条件机制，以提供对图像生成过程的有效控制，并引入了面部身份损失作为训练期间增强身份保存的新组件。这一方法消除了测试时间调整的需要，仅依赖于目标身份的单张面部照片，大大减少了与图像生成相关的资源成本。经过单一训练阶段后，我们的方法能够在几秒钟内生成高质量的图像，产生包含各种场景和风格的多样化图像。广泛的评估表明我们的方法具有卓越性能，实现了保存身份和增强可编辑性的双重目标。

Sep, 2023

用于 Fine-Grained ID 和属性控制的预训练扩展模型的脸部适配器

通过引入高效有效的 Face-Adapter，我们旨在解决资源密集型的训练问题，从而实现预训练扩散模型的高精度和高保真度的人脸编辑，该模型在运动控制精度、ID 保留能力和生成质量方面具有可比甚至优越的表现。

May, 2024

SeFi-IDE：面向个性化扩散生成的语义保真身份嵌入

本文通过面部区域适应和语义保真令牌优化的两个角度，将准确和语义保真的 ID 嵌入到稳定扩散模型中，以实现个性化生成，并通过实验证明与以前的方法相比，我们的结果在 ID 准确性和操作能力方面表现出更卓越的能力。

Jan, 2024

在任何场景中生成任何物体

我们提出了一种简单高效的数据增强训练策略，通过插入适配器层来引导扩散模型仅专注于对象身份，使得我们的模型具备控制每个生成个性化对象的位置和大小的能力，并提出了区域引导抽样技术来保持生成图像的质量和保真度。

Jun, 2023

当 StyleGAN 遇上稳定扩散：个性化图像生成的 W_+ 适配器

利用扩展的 StyleGAN 嵌入空间和文本到图像扩散模型进行高保真度的身份保护和语义编辑，成功地生成个性化文本到图像输出。

Nov, 2023

DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

Aug, 2022

面孔扩散以实现快速和可编辑的面部个性化

提出 Face2Diffusion (F2D) 用于高可编辑性的人脸个性化，核心思想是从训练管线中去除与身份无关的信息，改善了编码人脸的可编辑性。

Mar, 2024