Dec, 2023

基于扩散模型的并行视觉关注个性化人脸修复

PDF
TL;DR本文提出了使用并行视觉注意力（Parallel Visual Attention，PVA）和扩散模型相结合的方法，实现面部修复过程中的身份保留，达到了无与伦比的身份相似性，并具备有效的语言可控性。与各种基准方法相比，PVA 在面部修复和具有语言指导任务的面部修复中都表现出优异的结果。与 Custom Diffusion 相比，PVA 仅需每个新身份进行 40 次微调步骤，大大提高了速度，超过 20 倍。
face inpaintingvisual attentionidentity preservationdiffusion modelslanguage-controllability
发现论文，激发创造
  • 学习先验特征和注意力增强图像修复

    本文提出使用受自我监督预训练的 MAE 方法，作为 inpainting 模型的新骨架，并加入 MAE 注意先验，以增强 inpainting 模型的长距离依赖性，验证结果显示该方法在 Places2 和 FFHQ 上都取得了较好的效果。

    Aug, 2022

  • PATMAT: 人脸修复中的人物感知调整掩膜感知 Transformer

    本篇论文提出了一种新的人脸修复方法，命名为 PATMAT，该方法结合了 40 张不同参考图像，并通过调整 MAT 网络风格模式中的锚点来实现对新面孔身份的适应性，实现了较好的人脸修复效果。

    Apr, 2023

  • 从文本到掩码：使用文本 - 图像扩散模型的注意力定位实体

    本研究揭示了扩散模型中隐藏的丰富多模态知识的一种新方法，用于分割任务。

    Sep, 2023

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • 基于条件扩散模型的语义一致视频修复

    通过将视频修复问题作为条件生成建模问题加以解决的框架，以及利用生成方法的优势，本文展示了能够生成多样化且高质量修复效果的方法，并能够在时间、空间和语义上与给定的上下文相协调地合成新内容。

    Apr, 2024

  • Adversarial Patch 的生成与应用：基于注意力引导特征融合的自然与可迁移性

    通过 Adv-Inpainting 框架生成更具迁移性和视觉质量的自然对抗性贴片，从而改进了先前的对抗性贴片攻击方法。

    Aug, 2023

  • 利用去噪实现拼贴，修复和和谐化：使用预训练的扩散模型进行主题驱动的图像编辑

    本研究提出了一种名为 PhD 的框架，它利用样例图像和文本描述来指定用户意图，通过对生成或编辑的图像进行插入、修补和协调来保证其视觉一致性，并通过实验验证其在主题驱动的图像编辑和基于参考主题的文本驱动场景生成方面均达到了最先进的性能。

    Jun, 2023

  • ViCo：细节保留的视觉条件用于个性化文本到图像生成

    研究以个性化图像为导向使用扩散模型生成的技术，并提出了用于快速个性化生成的插入式模块 ViCo，包括图像注意力模块和基于文本图像注意力地图的正则化方法。其不需要微调原始扩散模型的参数，但能达到目前同类模型的最佳表现。

    Jun, 2023

  • 扩散去选择：在虚拟全尝试中丰富基于图像条件的潜在扩散模型的修复

    基于扩散的图像修复模型实现在线购物时的虚拟可视化，包括细节处理和语义操作。

    Jan, 2024

  • 基于扩散模型的人脸交换

    基于扩散模型的人脸交换技术，利用 IP-Adapter、ControlNet、以及 Stable Diffusion 的修复工艺实现人脸特征编码、多条件生成和修复操作，更进一步通过面部指导优化和 CodeFormer 进行混合提高生成质量。

    Mar, 2024