Sep, 2023

HM-Conformer: 带有分层汇聚和多级分类令牌聚合方法的基于 Conformer 的音频深度伪造检测系统

PDF
TL;DR音频深度伪造检测是检测由文本转语音或语音转换系统生成的欺骗攻击的任务。为了解决序列长度和信息聚合的问题，本文提出了 HM-Conformer，采用分层池化方法和多级分类令牌聚合方法，通过处理不同的序列长度并聚合它们，有效地检测欺骗证据。在 ASVspoof 2021 Deepfake 数据集上的实验结果显示，HM-Conformer 的等错误率为 15.71％，与最近的系统相比，表现竞争性能。
audio deepfake detectionspoofing attacksconformerhm-conformerasvspoof 2021 deepfake dataset
发现论文，激发创造
  • HyperConformer：用于高效语音识别的多头超级混合器

    本文介绍了一种名为 HyperConformer 的语音识别结构，它通过引入高效的 HyperMixer 机制，实现了对于长输入序列较为经济的全局交互建模，并在可获得的训练数据限制下达到与或高于传统结构 Conformer 相似的识别表现。

    May, 2023

  • Conformer: 卷积增强变压器（Convolution-augmented Transformer）用于语音识别

    本文提出了一种名为 Conformer 的语音识别（Automatic Speech Recognition）模型，结合了 Transformer 和卷积神经网络 (Convolution neural network) 的优点，在参数更少的情况下实现对于语音序列的局部和全局依赖的建模，并在 LibriSpeech benchmark 测试中取得了 2.1%/4.3%（未使用语言模型）和 1.9%/3.9%（使用外部语言模型）的字错率（Word Error Rate），表现超越了之前的基于 Transformer 和 CNN 的模型。

    May, 2020

  • 利用 SE-Res2Net-Conformer 结构进行合成语音检测和音频剪辑检测

    本文提出了一种使用 Res2Net 和 Conformer block 相结合的架构来改进声纹鉴定的欺骗对策，同时也提出了一种新的音频拼接检测问题的深度学习方法，该方法可以检测拼接边界而不是完整的拼接片段。

    Oct, 2022

  • 使用 Conformers 的端到端音视频语音识别

    本文提出一种基于混合 CTC / 注意力模型的 ResNet-18 和卷积扩充变压器 (Conformer)，可以进行端到端的训练。在语音识别方面取得了具有突破性的进展，实现了最先进效果。

    Feb, 2021

  • 语音识别的稀疏深度 Conformer 模型

    本研究提出了一种基于 Conformer 的深度稀疏自注意力机制的自动语音识别模型，能有效提高长序列数据的表达能力和提高识别率。

    Sep, 2022

  • 增强记忆的 Conformer 模型用于改进端到端长篇音频转文字识别

    我们提出了在 conformer 的编码器和解码器之间添加一个可完全微分的记忆增强神经网络，用于自动语音识别。这个外部记忆可以增强长发声段的泛化性能，因为它允许系统循环地存储和检索更多信息。实验结果表明，我们提出的 Conformer-NTM 模型在长发声段上优于没有记忆的基准 conformer 模型。

    Sep, 2023

  • 高效的构象器：渐进式下采样和分组注意力用于自动语音识别

    本文介绍了如何通过引入逐渐下采样的机制和新颖的分组注意力机制将 Conformer 架构的复杂性降至与有限计算预算相适应的情况。在 LibriSpeech 数据集上进行的实验说明，该架构相比于 Conformer 速度更快，性能更好，且包含更少的参数。

    Aug, 2021

  • 改进训练配方用于一个稳健的基于 Conformer 的混合模型

    本文探讨了多种说话人自适应训练的方法，提出了加权简单加法这一方法，该方法可以将权重说话人信息向量添加到自我注意模块的输入中，通过在 Switchboard 300h 数据集上的实验，证明了该方法的有效性，并在先前的工作基础上提出了一种新颖的训练配方，成功地降低了模型参数数量，并在 Switchboard 300h Hub5'00 数据集上取得了 11% 的相对错误率改进。

    Jun, 2022

  • 基于 Conformer 的长篇语音流式语言识别的注意力时序池化

    本文提出了一种基于 conformer 层的新型语言识别系统，提出一种注意力时序池化机制，可以以递归形式携带长音频的信息，从而可以进行流式推理。此外，本文还研究了两种领域适应方法，以允许适应现有的语言识别模型。我们的实验表明，本文提出的模型拓扑结构明显优于 LSTM 和 transformer，而且注意力时序池化和领域适应可以提高模型的准确性。

    Feb, 2022

  • TranssionADD: 基于多帧强化学习的序列标注模型用于音频深度伪造检测

    本研究提出了一种 TranssionADD 系统，通过序列标签任务和 MFD 模块结合多种数据增强技术改进模型能力，使用 IFP 损失函数和处理 segment 异常值，有效解决了检测深度伪造语音 utterance 的难题。

    Jun, 2023