Nov, 2023

MFAAN：利用多特征真实性网络揭示音频深度伪造

PDF
TL;DR为了解决深度伪造音频内容的问题，该研究引入了多特征音频真实性网络 (MFAAN)，该网络结构利用 Mel 频率倒谱系数 (MFCC)、线性频率倒谱系数 (LFCC) 和色度短时傅立叶变换 (Chroma-STFT) 等多种音频表示方法，通过协同融合这些特征，能够准确鉴别真实和伪造的录音，初步评估显示其在两个基准数据集上表现出卓越的性能，实现了分别达到 98.93% 和 94.47% 的准确率，这不仅突显了 MFAAN 的功效，还凸显了它作为应对深度伪造音频内容的关键工具的潜力。
deepfakesaudio authenticitymfaanmel-frequency cepstral coefficientsmanipulated recordings
发现论文，激发创造
  • 基于深度学习的音频伪造检测网络的泛化

    利用小波包和短時傅里叶變換等技術，用于波形数据处理，實現了更輕量級的檢測器，用于對抗利用生成式神經網絡制造的合成語音的詐騙行為，對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。

    May, 2023

  • WaveFake: 一份数据集，用以方便音频 Deepfake 检测

    本文介绍了一些用于分析音频信号的常见信号处理技术。我们提供了一个新的数据集，并采用了两个基线模型，以便进一步研究深层次的生成建模在音频信号领域的应用。

    Nov, 2021

  • AVFF：音视特征融合用于视频深度伪造检测

    通过跨模态学习方法的视听特征融合，我们提出了一种用于改进深假检测的两阶段方法，可以明确地捕捉音频和视觉模态之间的对应关系，并在真实和伪造视频上进行监督学习，取得了 98.6% 的准确率和 99.1% 的 AUC，相较于当前的音视混合最先进技术，准确率和 AUC 分别提高了 14.9% 和 9.9%。

    Jun, 2024

  • 短语音检测的文本无关说话人验证中多尺度频率通道注意力的 TDNN

    本研究提出了多尺度频道注意力机制（MFA），其采用新颖的双通道设计，即卷积神经网络和时延神经网络，可用于对不同尺度的讲话者进行表征，并在短语态测试语句下表现出优异的成绩，其在 VoxCeleb 数据库上表现出最先进的性能，同时减少了参数和计算复杂度。

    Feb, 2022

  • 整合视听特征用于多模态深度伪造检测

    深度伪造是通过人工智能生成的媒体，其中图像或视频经过数字修改。本研究提出了一种基于音视频的深度伪造检测方法，将细粒度的深度伪造识别与二元分类结合，增强了在域内和跨域测试下的检测能力。

    Oct, 2023

  • FakeAVCeleb: 一种新的音视频多模态 Deepfake 数据集

    针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

    Aug, 2021

  • 自动身份识别对音频视觉深度伪造的漏洞

    该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

    Nov, 2023

  • 基于频谱图特征和深度学习模型集成的深度伪造音频检测

    本文提出了基于深度学习的深伪音频检测系统，通过多种变换方法和不同的滤波器转换输入音频为频谱图，并评估了多种深度学习模型在分类任务上的性能，最终融合各种方法实现了在 ASVspoofing 2019 挑战中竞争力强的伪音频检测。

    Jul, 2024

  • DF-TransFusion: 通过唇音交叉注意力和脸部自注意力进行多模态深度伪造检测

    通过一个新颖的多模态音视频框架，结合音频和视频输入进行深度伪造检测，我们的模型利用交叉注意机制通过嘴唇同步输入音频，并通过经过微调的 VGG-16 网络提取视觉线索，随后利用 Transformer 编码器网络执行面部自注意力。我们进行了多个消融研究，突出了我们方法的不同优点。我们的多模态方法在 F-1 分数和每个视频 AUC 分数方面优于最先进的多模态深度伪造检测技术。

    Sep, 2023

  • 针对对抗音频分类的通道特征自适应重新校准

    本文研究了 DeepFake Audio 从检测角度进行了研究，并提出了使用注意力特征融合的通道重新校准方法进行合成语音检测。同时，我们也通过使用 SE 块和 LFCC/MFCC 的结合，改进了 Resnet 模型，并提出了更好的输入特征嵌入方式，使得即使较为简单的模型在合成语音分类任务上也能够很好地推广。经过针对 Fake or Real 数据集的训练，我们的模型在 FoR 数据上能够获得 95％的测试准确度，并在使用不同的生成模型生成样本后适应该框架后，达到了 90％的平均准确度。

    Oct, 2022