InstantID: 秒级零样本保身份生成

Jan, 2024

InstantID: Zero-shot Identity-Preserving Generation in Seconds

Qixun Wang, Xu Bai, Haofan Wang, Zekui Qin, Anthony Chen

TL;DR我们介绍了基于 InstantID 的个性化图像合成方法，通过应用 IdentityNet 模型，使用单张面部图像实现各种风格的图像个性化，同时确保高保真度，并与 SD1.5 和 SDXL 等常用预训练文本到图像扩散模型无缝集成，具有卓越的性能和高效性，在重视身份保护的实际应用中极具益处。

Abstract

There has been significant progress in personalized image synthesis with methods such as Textual Inversion, DreamBooth, and LoRA. Yet, their real-world applicability is hindered by high storage demands, lengthy fine-tuning processes, and the need for multiple reference images. Converse

personalized image synthesis id embedding-based methods instantid image personalization identity preservation

发现论文，激发创造

无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

Mar, 2024

ID-Animator：零槽位身份保持的人类视频生成

提供单个人脸参考图像，无需进一步训练，ID-Animator 是一种零样本的人类视频生成方法，具有个性化视频生成能力。该方法采用面部适配器从可学习的面部潜在查询中编码与身份相关的嵌入，通过 ID 导向的数据集构建技术和随机面部参考训练方法，提高模型在身份特定视频生成方面的准确性和泛化能力，实验结果表明 ID-Animator 比之前的模型更优秀，适用于对身份保护要求很高的实际视频生成应用。

Apr, 2024

FaceStudio：在几秒钟内将您的脸放到任何地方

本研究通过引入直接前馈机制和混合引导框架，以人物图像为重点，实现了保留主体身份的图像合成，旨在快速高效生成艺术肖像和身份融合图像，并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。

Dec, 2023

DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

Jul, 2023

SeFi-IDE：面向个性化扩散生成的语义保真身份嵌入

本文通过面部区域适应和语义保真令牌优化的两个角度，将准确和语义保真的 ID 嵌入到稳定扩散模型中，以实现个性化生成，并通过实验证明与以前的方法相比，我们的结果在 ID 准确性和操作能力方面表现出更卓越的能力。

Jan, 2024

Inv-Adapter：基于图像反转和轻量级适配器的 ID 个性化生成

利用预训练的文本图像模型通过 DDIM 图像反转提取 ID 图像的传播域表示，不需要额外的图像编码器，然后通过精心设计的轻量级注意力适配器将提取的 ID 提示特征和文本图像模型的中间特征有效地嵌入到基础文本图像模型中，从而为 ID 定制生成和模型规模上提出的 Inv-Adapter 在 ID 忠实度、生成忠诚度、速度和训练参数等方面进行了广泛的实验评估表明其具有很高的竞争力。

Jun, 2024

StableIdentity：首次见面即可将任何人引入任何地方

在这项工作中，我们提出了 StableIdentity，它允许只通过一张面部图像实现一致性身份重构，并且可以在各种情境中灵活注入所学到的身份，从而实现前所未有的图像、视频和 3D 定制生成模型。

Jan, 2024

InstantFamily：用于零样本多标识图像生成的掩码注意力

这篇论文介绍了一种名为 InstantFamily 的方法，利用新颖的遮罩交叉注意机制和多模态嵌入层实现了零样本多身份图像生成，同时解决了已知的多身份生成问题，并在单一身份和多身份保留方面达到了最先进的性能水平。

Apr, 2024

ID-Aligner: 用奖励反馈学习增强保持身份的图文生成

通过引入通用反馈学习框架，本研究提出了 ID-Aligner 方法用于改进 ID-T2I 性能，解决参考肖像的身份特征保留、生成图像的美学吸引力缺失以及与 LoRA 和 Adapter 方法的兼容性等关键问题。大量的实验证明了这一方法的有效性。

Apr, 2024

MetaPortrait：具备快速个性化调整能力的保持身份的说话人头像生成

本文提出了一个基于 ID 保持的讲话头生成框架，改进了以往的方法，使用密集地标点实现精确的几何感知流场与自适应融合源身份，使用元学习方法实现快速个性化模型的快速适应，并且增加时空增强模块以提高细节和时序性，实验表明本文的方法在单次和个性化设置中均显著优于现有技术。

Dec, 2022