Apr, 2024

InstantFamily：用于零样本多标识图像生成的掩码注意力

PDF
TL;DR这篇论文介绍了一种名为 InstantFamily 的方法，利用新颖的遮罩交叉注意机制和多模态嵌入层实现了零样本多身份图像生成，同时解决了已知的多身份生成问题，并在单一身份和多身份保留方面达到了最先进的性能水平。
personalized image generationmasked cross-attention mechanismmulti-id image generationpre-trained face recognition modelcomposition in generated images
发现论文，激发创造
  • InstantID: 秒级零样本保身份生成

    我们介绍了基于 InstantID 的个性化图像合成方法，通过应用 IdentityNet 模型，使用单张面部图像实现各种风格的图像个性化，同时确保高保真度，并与 SD1.5 和 SDXL 等常用预训练文本到图像扩散模型无缝集成，具有卓越的性能和高效性，在重视身份保护的实际应用中极具益处。

    Jan, 2024

  • 无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

    通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

    Mar, 2024

  • ID-Animator：零槽位身份保持的人类视频生成

    提供单个人脸参考图像，无需进一步训练，ID-Animator 是一种零样本的人类视频生成方法，具有个性化视频生成能力。该方法采用面部适配器从可学习的面部潜在查询中编码与身份相关的嵌入，通过 ID 导向的数据集构建技术和随机面部参考训练方法，提高模型在身份特定视频生成方面的准确性和泛化能力，实验结果表明 ID-Animator 比之前的模型更优秀，适用于对身份保护要求很高的实际视频生成应用。

    Apr, 2024

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023

  • 跨图像注意力的零样本外观转换

    利用文本到图像生成模型中的语义知识，在具有相似语义但形状可能差异大的物体之间进行视觉外观转换，通过建立跨图像的注意力机制和利用噪声编码或模型内部表示来提高输出图像质量，实现了零训练的目标。

    Nov, 2023

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • StableIdentity：首次见面即可将任何人引入任何地方

    在这项工作中，我们提出了 StableIdentity，它允许只通过一张面部图像实现一致性身份重构，并且可以在各种情境中灵活注入所学到的身份，从而实现前所未有的图像、视频和 3D 定制生成模型。

    Jan, 2024

  • 基于注意力融合的多源人体图像生成

    我们提出了一个通用的人像生成任务的泛化方法，通过目标姿势和一组源外观图像生成一个人像，基于本地关注机制选择不同源图像区域的相关信息，避免了为每个特定的 X 基数构建特定生成器的必要性，并通过实证评估验证了在多源环境中解决人像生成问题的实用性。

    May, 2019

  • 注意力驱动的人物识别

    本研究提出了一种新颖的注意力驱动多分支网络，可以同时从全身和局部图像中学习鲁棒且有辨别力的人体表征，以优化人员重新识别的效果。

    Oct, 2018