Apr, 2023

PATMAT: 人脸修复中的人物感知调整掩膜感知 Transformer

PDF
TL;DR本篇论文提出了一种新的人脸修复方法，命名为 PATMAT，该方法结合了 40 张不同参考图像，并通过调整 MAT 网络风格模式中的锚点来实现对新面孔身份的适应性，实现了较好的人脸修复效果。
generative modelsstylegan2stable diffusionface inpaintingperson aware tuning
发现论文，激发创造
  • 基于扩散模型的并行视觉关注个性化人脸修复

    本文提出了使用并行视觉注意力（Parallel Visual Attention，PVA）和扩散模型相结合的方法，实现面部修复过程中的身份保留，达到了无与伦比的身份相似性，并具备有效的语言可控性。与各种基准方法相比，PVA 在面部修复和具有语言指导任务的面部修复中都表现出优异的结果。与 Custom Diffusion 相比，PVA 仅需每个新身份进行 40 次微调步骤，大大提高了速度，超过 20 倍。

    Dec, 2023

  • MAT: 大洞图像修复的掩模感知 Transformer

    本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先进的效果。

    Mar, 2022

  • DMAT：一种用于人体去遮挡的动态掩蔽感知变压器

    本文提出了一种动态掩蔽感知变换器（DMAT），用于从遮挡图像中推断不可见的人体部分的外观，解决了人体去遮挡任务，对于人员重新识别和意图推断等与人类相关的任务具有巨大价值。通过设计扩展的卷积头部，并整合多个掩蔽蒙版，提出新颖的动态多头人掩蔽引导注意机制，强调可见的人体部分，利用区域上采样策略减轻插值图像受遮挡的影响，并引入无模损失进行学习，在 AHP 数据集上的广泛实验表明其优于最新的最先进方法。

    Feb, 2024

  • 视觉 Transformer 预训练中遮蔽和置换视觉令牌的学习

    本研究提出了一种名为 MaPeT 的新型自监督预训练方法，旨在提高基于视觉任务的性能并解决输入噪声和不一致性问题，实验结果表明其在 ImageNet 数据集上具有与竞争对手相媲美的性能。

    Jun, 2023

  • Adversarial Patch 的生成与应用：基于注意力引导特征融合的自然与可迁移性

    通过 Adv-Inpainting 框架生成更具迁移性和视觉质量的自然对抗性贴片，从而改进了先前的对抗性贴片攻击方法。

    Aug, 2023

  • 基于示例的图像翻译的遮蔽和自适应变换器

    提出了一个用于样例图像翻译的新框架，称为 MATEBIT，其基于交叉域语义对应和全局风格编码，使用掩模和自适应变换器提高了匹配的准确性，并制定了新的对比风格学习方法来获得高质量图像生成。

    Mar, 2023

  • 隐私保护下的人像抠图再思考

    本文提出了一个隐私保护的肖像抠图 (P3M) 标准数据集，采用高分辨率的面部模糊肖像图像以及高质量的阿尔法抠图来评估现有的抠图方法。针对训练集仅用面部模糊图像而测试集包含任意图像的情况，本文使用 P3M-Net 模型和剪切图法提高了抠图模型的泛化能力。同时，使用复杂 Copy and Paste 策略，利用公共名人图像提供面部信息增加了肖像抠图模型的泛化能力。

    Mar, 2022

  • HINT：具有掩膜感知编码和增强注意力的高质量修复变换器

    通过引入新颖的遮罩感知像素混洗下采样模块（MPD）和在模型内进行高级推理的同时保持提取自损坏图像的可见信息的完整性的方法，以及通过空间激活通道注意力层（SCAL）提供的有效自注意力机制在多个尺度上对损坏图像建模，我们提出了一种端到端的高质量修复变换器 (HINT)，该方法在 CelebA、CelebA-HQ、Places2 和敦煌等四个数据集上展示了超越当代最先进模型的卓越性能。

    Feb, 2024

  • 隐私保护人像抠图

    本文提出了 P3M-10k，它是第一个大规模的匿名化基准，用于隐私保护的人像抠图。P3M-Net 在此基础上提出了一种更好的人像抠图模型，并在 P3M-10k 上进行了广泛的实验，结果表明，P3M-Net 在客观指标和主观视觉质量方面都优于现有方法，并且具有良好的泛化能力。

    Apr, 2021

  • 纹理增强的深度基于补全补丁的图像修复

    本文介绍了一种新的图像修复框架，其将传统的基于块的方法和深度学习网络的优势结合起来，即在深度修复网络中植入来自未遮盖区域的块样本，使用纹理记忆指导纹理生成并进行端到端的训练。同时，引入块分布损失以提高合成块的质量。该方法在三个具有挑战性的数据集上（Places，CelebA-HQ，Paris Street-View）表现出更优秀的性能。

    Sep, 2020