Jun, 2024

Inv-Adapter：基于图像反转和轻量级适配器的 ID 个性化生成

PDF
TL;DR利用预训练的文本图像模型通过 DDIM 图像反转提取 ID 图像的传播域表示，不需要额外的图像编码器，然后通过精心设计的轻量级注意力适配器将提取的 ID 提示特征和文本图像模型的中间特征有效地嵌入到基础文本图像模型中，从而为 ID 定制生成和模型规模上提出的 Inv-Adapter 在 ID 忠实度、生成忠诚度、速度和训练参数等方面进行了广泛的实验评估表明其具有很高的竞争力。
发现论文，激发创造
  • 无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

    通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

    Mar, 2024

  • IDAdapter: 学习混合特征以实现无需调参的文本到图像模型个性化

    IDAdapter 是一种无需微调的方法，通过在生成过程中结合文本和视觉注入以及面部身份损失，从单个人脸图像中增强个性化图像生成的多样性和身份保留。通过将特定身份的多个参考图像的混合特征融入训练阶段，丰富相关身份的内容细节，指导模型生成具有比以往作品更多样的风格、表情和角度的图像。广泛的评估显示了我们方法的有效性，在生成的图像中实现了多样性和身份保真度。

    Mar, 2024

  • InstantID: 秒级零样本保身份生成

    我们介绍了基于 InstantID 的个性化图像合成方法，通过应用 IdentityNet 模型，使用单张面部图像实现各种风格的图像个性化，同时确保高保真度，并与 SD1.5 和 SDXL 等常用预训练文本到图像扩散模型无缝集成，具有卓越的性能和高效性，在重视身份保护的实际应用中极具益处。

    Jan, 2024

  • IP-Adapter：面向文本图像扩散模型的文本兼容图像提示适配器

    IP-Adapter 是一种有效且轻量级的适配器，通过分离交叉注意力层实现了预训练文本到图像扩散模型的图像提示能力，具有与完全微调的图像提示模型相媲美甚至更好的性能。利用分离的交叉注意力策略，图像提示可以与文本提示良好协作，实现多模态图像生成。

    Aug, 2023

  • IterInv：逐步反演像素级 T2I 模型

    大规模文本 - 图像扩散模型是生成根据输入文本提示的令人信服的图像的突破性发展。图像编辑研究的目标是通过修改文本提示来使用户对生成的图像具有控制能力。在这种情况下，迭代反转（IterInv）技术结合了流行的图像编辑方法，证明了 IterInv 的应用前景。

    Oct, 2023

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • ID-Aligner: 用奖励反馈学习增强保持身份的图文生成

    通过引入通用反馈学习框架，本研究提出了 ID-Aligner 方法用于改进 ID-T2I 性能，解决参考肖像的身份特征保留、生成图像的美学吸引力缺失以及与 LoRA 和 Adapter 方法的兼容性等关键问题。大量的实验证明了这一方法的有效性。

    Apr, 2024

  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • LocInv: 文本指导图像编辑中的定位感知反转

    基于 T2I 扩散模型，本研究提出了一种局部感知反演（LocInv）方法，通过利用分割地图或边界框作为额外的定位先验，精确修正扩散过程中的交互关注图，使其与文本提示中的正确名词和形容词单词紧密对齐，从而实现对特定对象的细粒度图像编辑，并防止对其他区域产生不希望的改变。该方法在 COCO 数据集的子集上经过广泛评估，定量和定性地都取得了优秀的结果。

    May, 2024

  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022