音频深度伪造检测的目标增强数据
本文综述了现有工具和基于机器学习的方法,用于深度伪造(Deepfake)的生成和检测,并讨论了目前的公共数据集和对技术进行性能评估的关键标准,强调了未来研究的方向。
Feb, 2021
针对如今深度学习技术生成的深度伪造技术的滥用所带来的严重安全和隐私问题,本研究提出了FakeAVCeleb这一包含视频和相应的合成唇同步伪造音频的新型多模态Audio-Video Deepfake数据集,其有助于打破现存音频和视频上的种族偏见,进一步帮助发展多模态深度伪造检测器。
Aug, 2021
该篇研究通过使用最新的深度伪造音频和视频数据集(FakeAVCeleb)进行了详细的基准实验,得出结论:单模态深度伪造检测方法仅仅能够适应单个媒体类型,仅使用视频或音频来检测不够理想,最佳的检测方法是集成式检测方法。
Sep, 2021
利用小波包和短時傅里叶變換等技術,用于波形数据处理,實現了更輕量級的檢測器,用于對抗利用生成式神經網絡制造的合成語音的詐騙行為,對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。
May, 2023
提出了一种新的ADD模型——M2S-ADD,目的是通过从单声道信号到立体声信号的转换,探索深假音频中的真实性线索,进而有效地揭示假音频中的人工痕迹,提高ADD性能。
May, 2023
通过使用大规模预训练模型,将音频深度伪造检测问题转化为说话人验证框架,利用被测声音样本和所声称身份的声音间的不匹配暴露假音频,实现了对广义能力的全面泛化。实验表明,基于预训练模型的检测器在内部数据上与监督方法不相上下,在外部数据上则大幅超越监督方法。
May, 2024
这篇论文展示了对真实音频数据集和假重建数据集进行分类器训练的可能性与出乎意料的容易程度,达到了99.8%的令人信服的准确率,标志着音乐深度伪造检测器的首次发表。然而,通过对其他领域伪造检测的几十年文献的了解,我们强调一个好的测试得分并不是故事的结束,而且指出部署的检测器可能存在的问题与未来研究方向。
May, 2024
该研究针对深度伪造音视频的检测模型的挑战,提出了一种具有多模态融合和一类学习表示级正则化技术的方法,以解决方法的泛化问题和确保模型的可解释性。实验证明该方法对未见攻击的检测平均改进了7.31%,同时提供了模型对伪造模态的识别结果。
Jun, 2024
通过综述深假视频生成与检测,强调需要有效的对抗措施应对潜在滥用。提供当前深假生成技术的综合概述,包括人脸交换、再现和音频驱动动画等。此外,分析了各种不同的检测方法,从视觉痕迹到跨视频和音频信号的不一致性。检测方法的有效性严重依赖于用于训练和评估的多样性和质量数据集。强调需要不断研究合作、评估指标标准化和创建全面基准。
Jul, 2024
本文提出了一种增强的音频-视觉深度检测方法,通过统计特征损失、音频波形描述、后处理正规化以及降低计算复杂度的浅层网络,改进了现有音频-视觉深度假冒检测模型,并在DFDC和FakeAVCeleb数据集上进行了实验证明了该方法的相关性。
Jul, 2024