Jun, 2024

神经欺骗对策如何检测部分伪造的音频？

PDF
TL;DR局部篡改句子可以大大改变其意义。最近的研究表明，训练在部分伪造音频上的对策可以有效地检测此类篡改。然而，目前对对策决策过程的理解有限。我们利用 Grad-CAM 并引入一种定量分析度量来解释对策的决策。我们发现对策优先考虑当连接真实和伪造音频时产生的过渡区域的伪迹。这种聚焦与仅在完全伪造音频上训练的对策不同，后者侧重于真实和伪造部分之间的模式差异。我们的进一步研究解释了在正确或错误预测时对策聚焦的差异性质。这些观察结果为对策模型的设计和数据集的创建提供了一个基础。此外，这项工作为之前未曾深入探索的局部篡改音频检测领域的解释性奠定了基础。
发现论文，激发创造
  • 近期神经欺骗对抗合成语音检测方法比较研究

    本研究通过对后端神经网络与训练标准的比较，评估 ASVspoof 2019 逻辑访问任务的对策模型，发现随机初始种子会对模型性能造成显著影响，但平均池化和新的无超参数损失函数是比较优秀的技术。

    Mar, 2021

  • 音频反欺诈的锐度感知优化多数据集协同训练

    本文提出基于多数据集协同训练和锐度感知最小化的紧凑型音频反欺诈模型，具备跨数据集的泛化性能，相较于预训练模型，参数数量少 4,000 倍，并在多个数据集上表现出竞争力。

    May, 2023

  • 如何构建完美和劣于硬币翻转的欺诈对抗措施：关于快捷学习的警告

    本研究旨在通过对深度学习 based 干扰计数器措施进行系统干预来识别其学习中的捷径，并通过分析回归模型来了解偏倚如何影响类条件分数统计。

    May, 2023

  • 假造对话划分：部分假剧音频中的 “谁在假造何时

    这篇研究定义了 Spoof Diarization 作为 Partial Spoof (PS) 情景下的一项新任务，旨在确定什么时候进行了欺骗行为，包括定位欺骗区域，并根据不同的欺骗方法进行聚类。作为 Spoof Diarization 领域的一项开创性研究，我们专注于定义任务、建立评估指标，并提出了一种基准模型，即 Countermeasure-Condition Clustering (3C) 模型。利用这个模型，我们首先探索了如何有效地训练反欺骗措施以支持 Spoof Diarization，使用了三种标签方案。然后，我们利用欺骗定位预测来提高对话划分的性能。这项研究首次揭示了这个任务的高复杂性，即使在仅考虑每个音频文件只有一个说话者和一个模拟方法的受限场景中也是如此。我们的代码可以在此 https URL 处获取。

    Jun, 2024

  • 嵌入空间中语音验证泛化及欺骗感知

    通过在嵌入空间中利用有限的训练数据来增强简单的后端分类器，我们提出了通用的独立式自动说话人验证（G-SASV）系统，以对抗欺骗攻击，同时避免在测试（认证）阶段单独使用 CM 模块，在 ASVspoof 2019 逻辑访问数据集中，我们相对统计 ASV 后端在合并（真实和欺骗）和欺骗条件下的性能分别最大提高了 36.2％和 49.8％，以等错误率为指标。

    Jan, 2024

  • Syn-Att：通过半监督的未知多类 CNN 集成进行合成音频归属

    通过将语音转化为对数梅尔频谱图，利用半监督学习和集成方法来提高稳健性和泛化性，本文提出了一种将合成语音与生成器相关联的新策略，并在 IEEE SP Cup 2022 的 ICASSP 挑战中，准确率相较 Eval 2 提高了 12-13%，Eval 1 提高了 1-2%。

    Sep, 2023

  • 基于 ConvNeXt 的音频防欺诈神经网络

    本文提出了一种基于 ConvNeXt 网络架构的轻量级端到端反欺骗模型，通过加入通道注意力块和使用 focal loss 函数，我们的模型可以专注于最具信息量的语音表示的子带和难以分类的样本，实验表明我们的系统在 ASVSpoof 2019 LA 评估数据集中可以实现 0.64％的等误差率和 0.0187 的 min-tDCF，超过了当前最先进系统。

    Sep, 2022

  • 复数值神经网络用于语音反欺骗

    本文介绍了一种新的方法，通过使用复数值神经网络处理输入音频的 CQT 频域表示，结合了幅度谱图和原始音频处理方法的优点，既保留了相位信息又可使用可解释人工智能方法，结果表明该方法在 “野外” 反欺诈数据集上优于先前的方法，并通过可解释人工智能解释结果，剔除研究证明该模型已学会使用相位信息来检测声音伪造。

    Aug, 2023

  • Codecfake 数据集与深伪造音频的普适检测对策

    该研究主要关注基于音频语言模型（ALM）的深度伪造音频的检测方法，提出了 CSAM 策略来解决原始 SAM 的领域上升偏差问题，并通过 Codecfake 数据集和 vocoded 数据集的共同训练，在各种测试条件下实现了最低的平均等错误率（EER）为 0.616％。

    May, 2024

  • 低秩模型挤压的自适应假音频检测

    本研究提出了一种针对新型虚假语音的低秩适应矩阵训练方法，在保持现有模型识别已知虚假语音准确率的同时，减小了存储内存需求，降低了错误率。

    Jun, 2023