Jun, 2024

计算机视觉中的活体检测：基于 Transformer 的自监督学习用于人脸反欺骗

PDF
TL;DR本研究利用 Vision Transformer (ViT) 架构并结合 DINO 框架，对面部反欺诈任务进行了 Fine-tuning，与传统的 CNN 模型 EfficientNet b2 进行了性能比较。研究结果显示，ViT 模型在准确性和对不同欺诈方法的抵抗性方面优于 CNN 模型，进一步推动了生物识别安全领域的重要进展。
face recognition systemsspoofing attacksvision transformerdino frameworkbiometric security
发现论文，激发创造
  • 探索自我监督视觉变换器用于深伪检测：一种比较分析

    本研究探讨自监督预训练变换器相对于有监督预训练变换器和传统神经网络（ConvNets）在检测各种类型的深度伪造方面的有效性，重点关注其在数据有限的情况下改进泛化能力的潜力。通过使用适度的训练数据并实施部分微调，在利用自监督学习和变换器进行深度伪造检测时，我们观察到了与传统方法可比拟的适应性和通过注意机制实现的自然可解释性，且同时需要较少的计算资源。

    May, 2024

  • 自适应 Transformers 用于稳健的少样本跨域人脸防伪

    本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

    Mar, 2022

  • 关于视觉变换器用于深假检测的及时调查

    近年来，深度伪造技术的快速发展在降低伪造成本和提高质量的同时引发了关于侵犯个人权利、国家安全威胁和公共安全风险等紧迫问题。本文综述了基于 Vision Transformer（ViT）的深度伪造检测模型，并将其分为独立的、顺序的和并行的架构。此外，它简明扼要地描绘了每个模型的结构和特点，通过分析现有研究和探讨未来发展方向，旨在为研究人员提供对 ViT 在深度伪造检测中关键作用的细致理解，为学术和实践领域提供有价值的参考。

    May, 2024

  • 自监督视觉 Transformer 中的新兴特性

    本研究探讨自监督学习是否为 Vision Transformer (ViT) 提供了与卷积网络 (convnets) 相比更为突出的新特性，发现自监督 ViT 特征明确包含图像的语义分割信息，在 ImageNet 数据集中取得了 78.3% 的 top-1 准确率，并将这些发现用于自监督方法 DINO 中，通过线性评估，使 ViT-Base 在 ImageNet 数据集中取得了 80.1% 的 top-1 准确率。

    Apr, 2021

  • 卷积视觉转换器用于深度伪造视频检测

    本文提出了一种使用卷积视觉 Transformer 及卷积神经网络架构用于检测 Deepfakes 的方法，并在 DeepFake Detection Challenge Dataset 上进行了实验，取得了 91.5％的准确度、0.91 的 AUC 值和 0.32 的损失值。

    Feb, 2021

  • 关于视觉 Transformer 在零样本人脸反欺诈方面的有效性研究

    本文提出了一种基于视觉 Transformer 模型的零样本反欺诈方法，通过在公共数据集上的实验，证明了该方法在 HQ-WMCA 和 SiW-M 数据集中零样本协议方面优于现有技术，并在跨数据库性能方面取得了显著提升。

    Nov, 2020

  • 分析自监督视觉变压器的局部表征

    自本文中，我们对各种自监督视觉变换器（ViTs）进行了比较分析，重点研究了它们的局部代表能力。我们设计了一个评估框架，分析了在少样本语义分割、实例识别、目标检索和跟踪等背景下的局部表示质量。我们发现，基于对比学习的方法如 DINO 产生了更通用的局部表示，可以立即应用于无参数调整的下游任务，而掩蔽图像建模的方法中学习的嵌入具有高方差特征，对于大多数下游任务没有有用信息。此外，通过对本工作的基准和 Scale-MAE 的分析，我们证明了移除这些高方差特征对 k-NN 算法的改进。最后，我们发现 DINOv2 在多训练数量级的数据上预训练的模型在物体实例检索方面表现比计算消耗较小的 DINO 模型更差。

    Dec, 2023

  • 使用 Vision Transformers 对检测迁移学习进行基准测试

    本文提出了可用于 Mask R-CNN 的 Vision Transformer 模型的训练技术，使用五种 ViT 初始化方法进行实验比较，结果表明最近基于遮蔽的无监督学习方法可能是首次在 COCO 数据集上提供了令人信服的转移学习改进，随着模型大小的增加，这些基于遮蔽的初始化方法具有更好的可扩展性和改进性。

    Nov, 2021

  • 基于视觉变换器的面部局部识别

    本文提出了一种全新的脸部识别方法 —— 使用 Vision Transformer 作为架构进行培训，称为 fViT，并通过简单的网络预测面部标记点的坐标再进行后续处理，最终达到了在几个面部识别基准上的最佳准确度。

    Nov, 2022

  • 使用 DINO 训练的 Vision Transformers 中的对抗攻击和防御探索

    本研究是关于自监督视觉转换网络 (DINO) 对抗攻击鲁棒性的分析，研究结果发现采用自监督方法学习的特征比监督学习更加鲁棒，并通过 fine-tuning 分类头部实现较好的抵御能力。

    Jun, 2022