Jul, 2023

面向合成图像的开放式架构归因验证系统

PDF
TL;DR由于缺乏在未知架构上工作的方法，使得大多数合成图像归因的方法只能归因于训练集中的模型或架构生成的图像，限制了其在实际场景中的适用性。本文提出了一个验证框架，该框架依赖于孪生网络，以解决将合成图像归因为生成它们的架构的开放集问题。我们考虑了两种不同的设置。第一种设置，系统确定两幅图像是否由同一生成架构产生。第二种设置，系统验证关于用于生成合成图像的架构的声明，利用由声称的架构生成的一个或多个参考图像。所提出系统的主要优势在于其能够在封闭集和开放集场景下运行，使得输入图像，无论是查询图像还是参考图像，都可以属于训练过程中考虑的架构或不属于它们。实验评估涵盖了各种生成架构，如 GAN、扩散模型和变压器，重点关注合成人脸图像生成，在封闭集和开放集设置下均证实了我们的方法的卓越性能和强大的泛化能力。
发现论文，激发创造
  • 开放集合的合成图像源归因

    通过度量学习的方法，我们提出了一种用于实现开放集场景下合成图像源追溯的技术，该技术通过学习可区分不同生成器的可转移嵌入向量，并通过与已知生成器的学习参考点在嵌入空间中的距离来判定图像的真实性。实验结果表明，我们的方法能够在开放集场景下成功追溯合成图像的源。

    Aug, 2023

  • 一种基于 ViT 的混合体系结构的 GAN 基于图像操作的开放集分类

    本文研究如何在开放集场景下识别人工智能处理的图片，提出一种基于 Vision Transformers 和位置信息的分类方法，并使用拒绝策略过滤不能识别的图片。此方法在面部属性编辑和 GAN 属性分类任务上取得了较好分类效果。

    Apr, 2023

  • BOSC: 一个基于后门的开放集合合成图像归属框架

    基于背门攻击的开放集分类器的合成图像溯源方法 (BOSC)，通过注入类特定触发器来诱导网络建立类特征与触发特征的匹配，以此设计分类器并进行样本拒绝的方法。在实验证明该方法在合成图像溯源任务中表现良好，超过了最先进技术，并且对图像处理具有很好的鲁棒性，同时该框架还可应用于其他图像取证应用领域。

    May, 2024

  • 基于 Siamese 网络的深度学习人脸识别方法

    通过使用对比网络的方法，在没有标记的人脸图像的情况下，实现了接近监督基准的性能。

    Dec, 2023

  • 面向开集模型归因的逐步开放空间扩展

    本文提出了一种基于逐步扩展开放空间的解决方案，即 Progressive Open Space Expansion（POSE），用于 Open-Set Model Attribution（OSMA）任务中，以同时将图像归因于已知模型并识别来自未知模型的图像。

    Mar, 2023

  • 合成图像对基于孪生网络的形变攻击检测的影响

    研究评估了使用具有半硬损失函数的暹罗网络在形态攻击检测（MAD）中，合成图像对其影响。通过跨数据集评估来测量合成图像的泛化能力。使用传统的 MobileNetV2、MobileNetV3 和 EfficientNetB0 预训练网络作为特征提取器。我们的结果表明，在 FERET、FRGCv2 和 FRLL 数据库上， EfficientNetB0 训练的 MAD 具有比 SOTA 更低的错误率。相反，当系统仅使用合成图像进行训练时，性能较差。混合方法（合成 + 数字）数据库可以帮助改进 MAD 并降低错误率。这表明我们仍需要在训练过程中继续努力包含合成图像。

    Mar, 2024

  • 利用 GAN 和孪生网络从真实照片匹配服装的 PoshakNet 框架

    提出使用基于 GAN 和 Siamese 网络的视觉搜索框架，可以从输入的照片中提取被穿着的服装并与数据集中的服装进行匹配，以帮助在线购物客户更好地搜索商品。

    Nov, 2019

  • 通过反演确定源代码生成器

    本文介绍了一种解决图片或视频伪造及版权问题的方法，利用生成对抗网络的投影反演算法在白盒情况下，对合成图像进行属性归因和输入的提取。

    May, 2019

  • 深度伪造网络结构归属

    本文首次研究深度伪造网络架构归属问题，并提出了一种名为 DNA-Det 的有效解决方案，在多个交叉测试设置和大规模数据集上的广泛实验证明了其有效性。

    Feb, 2022

  • 面部合成中开放式身份保持的探索

    提出了一种基于生成对抗网络 (GAN) 的框架，以在开放领域中保留身份的人脸合成中，区分脸部的身份和属性。它可以方便地重新组合不同身份和属性，以合成身份保持的面部。

    Mar, 2018