Sep, 2023

SingFake: 唱歌声深度伪造检测

PDF
TL;DR提出了歌声深度伪造检测任务，创建了第一个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段，评估了四个最先进的口语对抗系统，发现在 SingFake 上训练相对于在口语测试数据上训练有显著改进，但也提出了未知歌手、通信编解码器、语言和音乐背景等挑战。
singing voice synthesisunauthorized voice usagedeepfake detectionsingfake datasetspeech countermeasure systems
发现论文，激发创造
  • SVDD 挑战 2024：唱歌声深度伪造检测挑战 - 评估计划

    AI 生成的歌唱声音的快速发展引起了艺术家和音乐行业的高度关注，基于音乐性质和强烈背景音乐的唱歌声音的深度伪造检测（SVDD）是一个需要专注的专业领域。为推动 SVDD 研究，我们最近提出了 “SVDD 挑战”，这是第一个侧重于实验室控制和真实场景下真实和深度伪造歌唱声音录制的研究挑战。该挑战将与 2024 年 IEEE 口语语言技术研讨会（SLT 2024）同时举行。

    May, 2024

  • FSD: 用于假歌曲检测的初始中文数据集

    利用中国伪造歌曲检测（FSD）数据集，通过训练音频伪造检测（ADD）模型，实现对歌曲伪造的验证，并发现歌曲专用 ADD 模型在 FSD 测试集中平均等误差率较训练于语音的 ADD 模型降低了约 38.58%。

    Sep, 2023

  • DeepSinger：基于网络挖掘数据的歌声合成

    本文介绍了 DeepSinger，这是一个从音乐网站中抓取数据训练的多语言、多歌手的歌唱声音合成系统，其特点包括自动化的对齐模型、基于 Transformer 的合成模型以及多语言、多歌手的支持

    Jul, 2020

  • FakeAVCeleb: 一种新的音视频多模态 Deepfake 数据集

    针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题，本研究提出了 FakeAVCeleb 这一包含视频和相应的合成唇同步伪造音频的新型多模态 Audio-Video Deepfake 数据集，其有助于打破现存音频和视频上的种族偏见，进一步帮助发展多模态深度伪造检测器。

    Aug, 2021

  • DeepSonar: 有效且稳健的 AI 合成虚假语音检测

    文中提出了一种新方法 DeepSonar，利用神经元行为监测技术实现对 AI 合成的假声的检测，已在包括谷歌、百度在内的三种语言数据集上进行了实验，检测率达到了 98.1％平均准确率，误报率低于 2％。

    May, 2020

  • 检测音乐深度伪造容易但实际上很困难

    这篇论文展示了对真实音频数据集和假重建数据集进行分类器训练的可能性与出乎意料的容易程度，达到了 99.8% 的令人信服的准确率，标志着音乐深度伪造检测器的首次发表。然而，通过对其他领域伪造检测的几十年文献的了解，我们强调一个好的测试得分并不是故事的结束，而且指出部署的检测器可能存在的问题与未来研究方向。

    May, 2024

  • WaveFake: 一份数据集，用以方便音频 Deepfake 检测

    本文介绍了一些用于分析音频信号的常见信号处理技术。我们提供了一个新的数据集，并采用了两个基线模型，以便进一步研究深层次的生成建模在音频信号领域的应用。

    Nov, 2021

  • 深度伪造音频的系统指纹识别：一份初始数据集和调查

    本论文提出了一个用于系统指纹识别的 deepfake 音频数据集，并进行了初步调查，数据集由五个语音合成系统使用最先进的深度学习技术收集而成，为系统指纹识别方法的开发提供了一些基准和研究发现。

    Aug, 2022

  • 自动身份识别对音频视觉深度伪造的漏洞

    该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

    Nov, 2023

  • 基于深度学习的音频伪造检测网络的泛化

    利用小波包和短時傅里叶變換等技術，用于波形数据处理，實現了更輕量級的檢測器，用于對抗利用生成式神經網絡制造的合成語音的詐騙行為，對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。

    May, 2023