Jun, 2024

假造对话划分：部分假剧音频中的 “谁在假造何时

PDF
TL;DR这篇研究定义了 Spoof Diarization 作为 Partial Spoof (PS) 情景下的一项新任务，旨在确定什么时候进行了欺骗行为，包括定位欺骗区域，并根据不同的欺骗方法进行聚类。作为 Spoof Diarization 领域的一项开创性研究，我们专注于定义任务、建立评估指标，并提出了一种基准模型，即 Countermeasure-Condition Clustering (3C) 模型。利用这个模型，我们首先探索了如何有效地训练反欺骗措施以支持 Spoof Diarization，使用了三种标签方案。然后，我们利用欺骗定位预测来提高对话划分的性能。这项研究首次揭示了这个任务的高复杂性，即使在仅考虑每个音频文件只有一个说话者和一个模拟方法的受限场景中也是如此。我们的代码可以在此 https URL 处获取。
spoof diarizationpartial spoofspoofing methodscountermeasure-condition clustering modelspoof localization
发现论文，激发创造
  • 神经欺骗对策如何检测部分伪造的音频？

    局部篡改句子可以大大改变其意义。最近的研究表明，训练在部分伪造音频上的对策可以有效地检测此类篡改。然而，目前对对策决策过程的理解有限。我们利用 Grad-CAM 并引入一种定量分析度量来解释对策的决策。我们发现对策优先考虑当连接真实和伪造音频时产生的过渡区域的伪迹。这种聚焦与仅在完全伪造音频上训练的对策不同，后者侧重于真实和伪造部分之间的模式差异。我们的进一步研究解释了在正确或错误预测时对策聚焦的差异性质。这些观察结果为对策模型的设计和数据集的创建提供了一个基础。此外，这项工作为之前未曾深入探索的局部篡改音频检测领域的解释性奠定了基础。

    Jun, 2024

  • 无监督域自适应的防欺骗说话人验证

    研究如何提高自动说话人验证系统的欺骗稳健性，主要从基于概率线性判别分析的后端分类器入手，并运用三种无监督领域适应技术来优化它。旨在提高系统在逻辑和物理接近情境下的表现，对于后者，尤其是在被重放音频攻击时，针对真实的和伪造的情况，相对改进率分别达到 36.1% 和 5.3% 接近最高点。除此之外，还进行了一些额外的研究，如攻击分析、数据构成和与高斯后端的分数级别的对策系统的集成分析。

    Mar, 2022

  • 近期神经欺骗对抗合成语音检测方法比较研究

    本研究通过对后端神经网络与训练标准的比较，评估 ASVspoof 2019 逻辑访问任务的对策模型，发现随机初始种子会对模型性能造成显著影响，但平均池化和新的无超参数损失函数是比较优秀的技术。

    Mar, 2021

  • ASVspoof 2019：欺诈和假音频检测的未来展望

    ASVspoof 2019 是社区带领的挑战活动之一，主要关注自动说话人验证（ASV）系统面对欺骗的反制措施，其中考虑了逻辑和物理接入情况，三种欺骗攻击方式，使用神经声学和波形模型生成欺骗攻击，采用双重检测费用函数（t-DCF）对 ASV 系统可靠性进行评估，并囊括了对伪造音频侦测的关注。共有 63 个研究团队参与了此次活动，半数以上的团队报告的系统性能优于两个基线欺骗反制措施。 - 摘自 ASVspoof 2019 的数据库、协议和挑战结果。该工作展示了在反制欺骗和伪造音频方面的实际进展。

    Apr, 2019

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • ASVspoof 2015 挑战中的 STC 防欺骗系统

    本文提出了基于不同声学特征空间的对抗攻击反欺诈技术，并比较了线性和非线性分类器的效果。实验表明，相位相关和小波基础特征对系统效率的提高有重要作用。

    Jul, 2015

  • SYSU 2015 Interspeech 自动说话人验证欺骗和对策竞赛系统

    提出了一种基于多种 i-vector 子系统的得分融合方法，通过采用声学水平的 Mel 频率倒谱系数（MFCC）特征、相位水平的修改群延迟倒谱系数（MGDCC）和语音学水平的音素后验概率（PPP）串联特征来检测并对抗欺骗性语音信号。

    Jul, 2015

  • 常见在线说话者对话方法综述

    在线说话者辨识提供了 “谁何时说话” 的答案，可用于完成音频转录和后续处理步骤；本文概述了在线说话者辨识的历史、训练与评估数据集，详细讨论了在线辨识方法与系统，并提出了该领域需要未来研究解决的挑战。

    Jun, 2024

  • 自动说话人验证系统的反欺诈方法

    本研究旨在通过分析不同的声学特征空间和分类器，确定可靠和强大的对抗欺骗攻击的措施。实验结果表明，基于深度神经网络（DNN）的方法在欺骗检测任务中获得了相当低的等错误率 (EER)

    May, 2017

  • 嵌入空间中语音验证泛化及欺骗感知

    通过在嵌入空间中利用有限的训练数据来增强简单的后端分类器，我们提出了通用的独立式自动说话人验证（G-SASV）系统，以对抗欺骗攻击，同时避免在测试（认证）阶段单独使用 CM 模块，在 ASVspoof 2019 逻辑访问数据集中，我们相对统计 ASV 后端在合并（真实和欺骗）和欺骗条件下的性能分别最大提高了 36.2％和 49.8％，以等错误率为指标。

    Jan, 2024