Jun, 2024

音频虚假检测的泛化：更难还是不同？

PDF
TL;DR语音深度伪造检测中的关键问题是不同模型训练的深度伪造模型在其他模型上表现较差。实验证明，性能差距主要是由于深度伪造生成的模型不同，而不是由于深度伪造的新质量提高而导致的，这对实际的深度伪造检测有直接影响，强调仅仅增加模型容量可能无法有效应对泛化挑战。
speech deepfake detectiontext-to-speech modelsdeepfakesperformance gapgeneralization challenge
发现论文，激发创造
  • 利用大规模预训练模型进行无需训练的深度伪造语音识别

    通过使用大规模预训练模型，将音频深度伪造检测问题转化为说话人验证框架，利用被测声音样本和所声称身份的声音间的不匹配暴露假音频，实现了对广义能力的全面泛化。实验表明，基于预训练模型的检测器在内部数据上与监督方法不相上下，在外部数据上则大幅超越监督方法。

    May, 2024

  • 基于深度学习的音频伪造检测网络的泛化

    利用小波包和短時傅里叶變換等技術，用于波形数据处理，實現了更輕量級的檢測器，用于對抗利用生成式神經網絡制造的合成語音的詐騙行為，對新型 Avocado 和 BigVGAN 網絡的檢測效果更佳。

    May, 2023

  • 深假视频检测器的普适性研究

    研究了 deepfake 检测器的泛化能力，发现现有模型难以适应未经训练的 deepfakes 数据集，但鉴于它们普遍学习合成方法的特定属性并难以提取区分特征，发现有神经元对已见和未见数据集都起到检测作用，为实现零样本泛化能力指明了可能的方向。

    Aug, 2023

  • 跨领域音频深度伪造检测：数据集与分析

    通过使用五种先进的零样本文本转语音模型生成超过 300 小时的语音数据，构建了一个新的跨领域的 ADD 数据集。通过新颖的攻击增强训练方法，Wav2Vec2-large 模型和 Whisper-medium 模型分别获得了 4.1％和 6.5％的等误差率，展示了出色的少样本 ADD 能力。然而，神经编解码器压缩技术对检测准确性产生重大影响，需要进一步研究。

    Apr, 2024

  • 深度假文本检测：限制和机遇

    本文通过收集 Transformer-based 工具生成的 deepfake 文本从而评估现有方法在野外环境中实际应用的能力，并通过对抗攻击研究对现有防御措施的稳健性。研究发现，将文本内容中的语义信息引入是提高 deepfake 文本检测方案鲁棒性和泛化性能的有效途径。

    Oct, 2022

  • 扩散深度伪造

    通过生成式 AI 和扩散模型，我们引入了两个广泛的生成伪造数据集，用于测试当前深伪造检测器的脆弱性，并提出了增强训练数据多样性和动量困难提升策略来改进模型的普适性。通过全面评估，我们的模型优化方法明显优于以前的替代方案。

    Apr, 2024

  • WaveFake: 一份数据集，用以方便音频 Deepfake 检测

    本文介绍了一些用于分析音频信号的常见信号处理技术。我们提供了一个新的数据集，并采用了两个基线模型，以便进一步研究深层次的生成建模在音频信号领域的应用。

    Nov, 2021

  • 自动身份识别对音频视觉深度伪造的漏洞

    该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

    Nov, 2023

  • 声音脸部一致性揭示深度伪造视频

    本研究提出了一种利用语音面孔匹配的方法来检测深度伪造视频，并采用预训练和微调方法以快速适应未被开发的伪造技术，实验结果表明该方法在三个不同的深度伪造数据集上表现显著优于现有的其他模型。

    Mar, 2022

  • 深度伪造检测的稳健性与泛化性：扩散模型研究

    通过对深度伪造图像的产生和检测进行深入研究，本论文提出了一种全面的深度伪造图像生成与识别的方法。在我们的研究中，我们创建了一个名为 DeepFakeFace (DFF) 的数据集，用于训练和测试检测深度伪造图像的算法。我们进行了对 DFF 数据集的全面评估，并提出了两种评估方法来测试深度伪造识别工具的强度和适应性。根据我们的发现，不同的深度伪造方法和图像变化产生了多种结果，突显了对深度伪造检测器的需求。我们的 DFF 数据集和测试旨在促进更有效的抵御深度伪造的工具的发展。

    Sep, 2023