自动身份识别对音频视觉深度伪造的漏洞

Nov, 2023

自动身份识别对音频视觉深度伪造的漏洞

Vulnerability of Automatic Identity Recognition to Audio-Visual Deepfakes

Pavel Korshunov, Haolin Chen, Philip N. Garner, Sebastien Marcel

TL;DR该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

Abstract

The task of deepfakes detection is far from being solved by speech or vision researchers. Several publicly available databases of fake synthetic video and speech were built to aid the development of detection methods. However, existing databases typically focus on visual or voice modal

deepfakes detection audio-visual database face swapping voice conversion vulnerability assessment

发现论文，激发创造

FakeAVCeleb: 一种新的音视频多模态 Deepfake 数据集

针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

Aug, 2021

DeepFakes: 一项新的人脸识别威胁？评估和检测

在本文中，我们使用基于 GAN 的开源软件从 VidTIMIT 数据库的视频生成 Deepfake 视频，调整不同的训练和混合参数对生成视频的质量有显著影响，并表明当前的人脸识别系统和现有的检测方法都很容易受到 Deepfake 视频的干扰。

Dec, 2018

深度伪造音频的系统指纹识别：一份初始数据集和调查

本论文提出了一个用于系统指纹识别的 deepfake 音频数据集，并进行了初步调查，数据集由五个语音合成系统使用最先进的深度学习技术收集而成，为系统指纹识别方法的开发提供了一些基准和研究发现。

Aug, 2022

声音脸部一致性揭示深度伪造视频

本研究提出了一种利用语音面孔匹配的方法来检测深度伪造视频，并采用预训练和微调方法以快速适应未被开发的伪造技术，实验结果表明该方法在三个不同的深度伪造数据集上表现显著优于现有的其他模型。

Mar, 2022

整合视听特征用于多模态深度伪造检测

深度伪造是通过人工智能生成的媒体，其中图像或视频经过数字修改。本研究提出了一种基于音视频的深度伪造检测方法，将细粒度的深度伪造识别与二元分类结合，增强了在域内和跨域测试下的检测能力。

Oct, 2023

揭示幻觉：理解人类对音视频深度伪造的感知

人们对深度伪造视频的感知能力进行主观研究，结果显示机器学习模型相对于人类在同样的 40 个视频上有更好的表现，而人们又往往高估了自己的检测能力。这一研究结果有助于对比人类和机器的性能、推进法医分析，并实现自适应对策。

May, 2024

使用单模态与多模态检测器评估音视频多模态深度伪造数据集

该篇研究通过使用最新的深度伪造音频和视频数据集（FakeAVCeleb）进行了详细的基准实验，得出结论：单模态深度伪造检测方法仅仅能够适应单个媒体类型，仅使用视频或音频来检测不够理想，最佳的检测方法是集成式检测方法。

Sep, 2021

基于深度学习的音频伪造检测网络的泛化

利用小波包和短時傅里叶變換等技術，用于波形数据处理，實現了更輕量級的檢測器，用于對抗利用生成式神經網絡制造的合成語音的詐騙行為，對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。

May, 2023

DF-TransFusion: 通过唇音交叉注意力和脸部自注意力进行多模态深度伪造检测

通过一个新颖的多模态音视频框架，结合音频和视频输入进行深度伪造检测，我们的模型利用交叉注意机制通过嘴唇同步输入音频，并通过经过微调的 VGG-16 网络提取视觉线索，随后利用 Transformer 编码器网络执行面部自注意力。我们进行了多个消融研究，突出了我们方法的不同优点。我们的多模态方法在 F-1 分数和每个视频 AUC 分数方面优于最先进的多模态深度伪造检测技术。

Sep, 2023

情感不欺人：利用情感线索的音视频 Deepfake 检测方法

本文提出了一种基于学习的方法来检测真实和虚假的 deepfake 多媒体内容，通过提取和分析同一视频中两种音频和视觉模态之间的相似性，以及提取和比较情感线索来推断输入视频是 “真实” 还是 “虚假”，并提出了一种深度学习网络，同时利用音频和视频模态以及两种模态的感知情绪进行 deepfake 检测，实验结果表明，本文方法在 DeepFake-TIMIT 数据集和 DFDC 数据集上分别达到了 84.4％和 96.6％的 AUC，是首个同时利用音频和视觉模态以及两种模态的感知情绪进行 deepfake 检测的方法。

Mar, 2020