May, 2023

基于深度学习的音频伪造检测网络的泛化

PDF
TL;DR利用小波包和短時傅里叶變換等技術，用于波形数据处理，實現了更輕量級的檢測器，用于對抗利用生成式神經網絡制造的合成語音的詐騙行為，對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。
generative neural networksdeep fake identification toolswavelet-packetshort-time fourier transformavocado and bigvgan networks
发现论文，激发创造
  • WaveFake: 一份数据集，用以方便音频 Deepfake 检测

    本文介绍了一些用于分析音频信号的常见信号处理技术。我们提供了一个新的数据集，并采用了两个基线模型，以便进一步研究深层次的生成建模在音频信号领域的应用。

    Nov, 2021

  • 利用大规模预训练模型进行无需训练的深度伪造语音识别

    通过使用大规模预训练模型，将音频深度伪造检测问题转化为说话人验证框架，利用被测声音样本和所声称身份的声音间的不匹配暴露假音频，实现了对广义能力的全面泛化。实验表明，基于预训练模型的检测器在内部数据上与监督方法不相上下，在外部数据上则大幅超越监督方法。

    May, 2024

  • 检测音乐深度伪造容易但实际上很困难

    这篇论文展示了对真实音频数据集和假重建数据集进行分类器训练的可能性与出乎意料的容易程度，达到了 99.8% 的令人信服的准确率，标志着音乐深度伪造检测器的首次发表。然而，通过对其他领域伪造检测的几十年文献的了解，我们强调一个好的测试得分并不是故事的结束，而且指出部署的检测器可能存在的问题与未来研究方向。

    May, 2024

  • 无需使用 Deepfake 的 Deepfake 检测：通过合成的频率模式注入进行泛化

    通过在图片生成过程中注入不同频率的合成模式，提高了深度伪造检测器的泛化能力。使用该方法训练的模型能够实现先进的深度伪造检测，并能有效地识别任意生成技术产生的深伪造。

    Mar, 2024

  • Deepfakes 生成和检测：现状、挑战、对策和发展方向

    本文综述了现有工具和基于机器学习的方法，用于深度伪造（Deepfake）的生成和检测，并讨论了目前的公共数据集和对技术进行性能评估的关键标准，强调了未来研究的方向。

    Feb, 2021

  • 自动身份识别对音频视觉深度伪造的漏洞

    该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

    Nov, 2023

  • FakeAVCeleb: 一种新的音视频多模态 Deepfake 数据集

    针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

    Aug, 2021

  • 利用频率分析进行深度虚假图像识别

    通过对生成对抗性网络的频域进行分析，我们发现生成的 Deep fake images 在这一领域会展现出一些严重的瑕疵，通过这些瑕疵可以自动识别出 deep fake images， 超越了现有的最先进方法。

    Mar, 2020

  • 众人一心、一心为公：基于深度学习的合成语音检测的特征融合

    通过融合不同的特征集，本文提出了一个模型，用于合成语音检测任务，取得了比现有解决方案更好的性能，并在不同场景和数据集上进行了测试，证明了其对抗反取证攻击的强健性和泛化能力。

    Jul, 2023

  • SingFake: 唱歌声深度伪造检测

    提出了歌声深度伪造检测任务，创建了第一个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段，评估了四个最先进的口语对抗系统，发现在 SingFake 上训练相对于在口语测试数据上训练有显著改进，但也提出了未知歌手、通信编解码器、语言和音乐背景等挑战。

    Sep, 2023