Apr, 2024

ID-Animator：零槽位身份保持的人类视频生成

PDF
TL;DR提供单个人脸参考图像，无需进一步训练，ID-Animator 是一种零样本的人类视频生成方法，具有个性化视频生成能力。该方法采用面部适配器从可学习的面部潜在查询中编码与身份相关的嵌入，通过 ID 导向的数据集构建技术和随机面部参考训练方法，提高模型在身份特定视频生成方面的准确性和泛化能力，实验结果表明 ID-Animator 比之前的模型更优秀，适用于对身份保护要求很高的实际视频生成应用。
human video generationidentity preservationid-animatorvideo generation pipelinepersonalized human videos
发现论文，激发创造
  • InstantID: 秒级零样本保身份生成

    我们介绍了基于 InstantID 的个性化图像合成方法，通过应用 IdentityNet 模型，使用单张面部图像实现各种风格的图像个性化，同时确保高保真度，并与 SD1.5 和 SDXL 等常用预训练文本到图像扩散模型无缝集成，具有卓越的性能和高效性，在重视身份保护的实际应用中极具益处。

    Jan, 2024

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023

  • PhotoMaker: 通过堆叠身份嵌入定制逼真的人类照片

    研究对文本到图像的生成进行了进一步的提升，在保证高效率、有辨识度的身份和灵活文本控制性等要求的前提下，提出了 PhotoMaker 方法。通过将输入的身份图像编码为堆叠的 ID 嵌入来维护身份信息，该嵌入不仅可以全面地表达相同输入身份的特征，还可以适应不同身份的特征进行融合，从而实现更具吸引力和实用价值的应用。

    Dec, 2023

  • StableIdentity：首次见面即可将任何人引入任何地方

    在这项工作中，我们提出了 StableIdentity，它允许只通过一张面部图像实现一致性身份重构，并且可以在各种情境中灵活注入所学到的身份，从而实现前所未有的图像、视频和 3D 定制生成模型。

    Jan, 2024

  • 无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

    通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

    Mar, 2024

  • 个性化扩散的身份编码器

    论文探讨了使用编码器和扩散生成器来进行个性化图像生成的方法，并比较了该方法与 Fine-tuning 等已有方法的性能，实验结果表明，该方法在图像生成和重建上表现更好，且适用于更多应用场景。

    Apr, 2023

  • 视频中实时人脸去识别

    本研究提出了一种面部去识别方法，能够实现高帧速率的全自动视频修改，通过一种新型前馈编码器 - 解码器网络架构，在保持姿势、照明和表情不变的同时，尽可能最大程度减弱身份气息，网络具有全球性，能创建自然外观的图像序列，时间扭曲少。

    Nov, 2019

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • ID-Aligner: 用奖励反馈学习增强保持身份的图文生成

    通过引入通用反馈学习框架，本研究提出了 ID-Aligner 方法用于改进 ID-T2I 性能，解决参考肖像的身份特征保留、生成图像的美学吸引力缺失以及与 LoRA 和 Adapter 方法的兼容性等关键问题。大量的实验证明了这一方法的有效性。

    Apr, 2024

  • UnrealPerson: 一种自适应的管道方法，实现无损人员重新识别

    本文提出了一种名为 UnrealPerson 的新型流水线，它利用虚幻图像数据以降低培训和部署阶段的成本，在 person re-identification 中取得了较高的精度，并提供了一定的适应能力。

    Dec, 2020