May, 2024

FRRffusion：基于扩散的人脸修饰还原中的真实性揭示

PDF
TL;DR通过构建深度 FRR 模型，本研究针对面部修饰逆向问题提出了一种新颖的基于扩散的 FRR 方法（FRRffusion），通过两个阶段的网络生成低分辨率人脸的基本轮廓和高分辨率的面部细节，其在定量和定性评估中都表现出优越性能。
发现论文，激发创造
  • 基于生成扩散先验的面部盲目修复朝真实世界迈进

    本研究探讨了利用预训练的稳定扩散（Stable Diffusion）来进行盲目人脸修复的潜力。我们提出了 BFRffusion，它经过精心设计，能够从低质量的人脸图像中有效提取特征，并能够利用预训练的稳定扩散生成逼真而忠实的面部细节。此外，我们构建了一个平衡了人种、性别和年龄等属性的隐私保护人脸数据集 PFHQ，该数据集可以作为训练盲目人脸修复方法的可行替代品，有效解决了与真实人脸数据集通常相关的隐私和偏见问题。通过一系列广泛的实验，我们证明了我们的 BFRffusion 在盲目人脸修复的合成和真实世界公共测试数据集上达到了最先进的性能水平，而我们的 PFHQ 数据集是训练盲目人脸修复网络的可用资源。 代码、预训练模型和数据集在此 https URL 上发布。

    Dec, 2023

  • DiffusionFace: 面向基于扩散的人脸伪造分析的全面数据集

    DiffusionFace 是第一个基于扩散的面部伪造数据集，包括各种伪造类别，包括无条件和文本引导面部图像生成，Img2Img，修复和基于扩散的面部交换算法。数据集具有广泛的 11 个扩散模型和生成图像的高质量，为评估提供必要的元数据和来自现实世界的网络源伪造面部图像的数据集。此外，我们对数据进行深入分析，并引入实际评估协议以严格评估鉴别模型在检测假冒面部图像方面的有效性，旨在增强面部图像验证过程中的安全性。数据集可从 https://github.com/Rapisurazurite/DiffFace 下载。

    Mar, 2024

  • RetouchingFFHQ：一种用于细粒度人脸修饰检测的大规模数据集

    本研究提出了一个大规模的精细化人脸修饰数据集 RetouchingFFHQ，其中包含超过 50 万幅条件化修饰的图像。通过包含四种典型的人脸修饰操作和不同的修饰水平，将二元人脸修饰检测扩展为多粒度、多修饰类型和多修饰水平的问题。此外，我们提出了一种多粒度注意力模块 (MAM) 作为 CNN 主干的插件，以增强跨尺度的表示学习。通过对 RetouchingFFHQ 数据集进行广泛的实验，包括使用不同基线方法和我们提出的方法，在人脸修饰检测方面展现了良好的性能。在提出的新数据集的基础上，我们相信未来有很大的潜力来解决现实世界中细粒度的人脸修饰检测问题。

    Jul, 2023

  • 深度伪造检测的稳健性与泛化性：扩散模型研究

    通过对深度伪造图像的产生和检测进行深入研究，本论文提出了一种全面的深度伪造图像生成与识别的方法。在我们的研究中，我们创建了一个名为 DeepFakeFace (DFF) 的数据集，用于训练和测试检测深度伪造图像的算法。我们进行了对 DFF 数据集的全面评估，并提出了两种评估方法来测试深度伪造识别工具的强度和适应性。根据我们的发现，不同的深度伪造方法和图像变化产生了多种结果，突显了对深度伪造检测器的需求。我们的 DFF 数据集和测试旨在促进更有效的抵御深度伪造的工具的发展。

    Sep, 2023

  • DiffBFR：基于自举的扩散模型的盲人脸修复

    本文提出了一种基于扩散概率模型的盲目面部修复方法 DiffBFR，使用身份恢复模块和纹理增强模块实现了对低质量图像的身份还原和纹理细节增强，并通过截断采样保留了更多的原始细节。

    May, 2023

  • 扩散人脸伪造检测

    通过引入 DiFF 数据集，本文首次探索了面向脸部的扩散生成图像的领域，分析结果揭示了识别扩散生成的假脸面临的挑战，并提出了一种边缘图正则化方法来增强现有检测器的泛化能力。

    Jan, 2024

  • PFStorer：个性化人脸修复与超分辨率

    我们探索了个性化人脸修复模型的潜力，通过使用扩散模型个性化恢复模型，保留细节的同时实现对身份的量身定制，通过使用独立的可训练模块以充分利用基础恢复模型的丰富先验信息，并通过引入生成规则器来避免模型依赖低质量图像中遗留的身份部分，我们展示了我们的方法在多个真实场景中对多个身份的鲁棒性能，并通过用户研究评估了生成细节的感知质量和忠实度，我们的方法被评为最佳的 61%。

    Mar, 2024

  • 学习特征分离和动态融合以进行图像取证

    本文提出了四种图像篡改识别方法并设计了适应性强的 FDDF 模型以识别不同的图像篡改模式，并构建了一个五倍于之前数据集的实景万能复制（RUR）数据集。实验表明，FDDF 模型在 RUR 数据集上表现出色，是目前最先进的技术之一。

    Jun, 2022

  • FitDiff：使用扩散模型进行鲁棒的单目 3D 面部形状和反射估计

    在这项研究中，我们提出了 FitDiff，一种基于扩散的三维人脸化身生成模型，它可准确生成可光照补充的人脸化身，利用从 “野外” 二维人脸图像中提取的身份嵌入。该多模态扩散模型同时输出面部反射映射（漫反射和镜面反射率及法线）和形状，展示了强大的泛化能力。它仅在公共人脸数据集的注释子集上进行训练，与三维重建配对。我们通过使用感知和人脸识别损失来指导反向扩散过程，重新审视了典型的三维面部拟合方法。FitDiff 是第一个以面部识别嵌入为条件的 LDM，它能够重构可光照补充的人类化身，可以直接在常见的渲染引擎中使用，仅从无约束的人脸图像开始，并达到了业界的最佳性能。

    Dec, 2023

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023