Aug, 2022

自动语音识别端到端神经模型的鲁棒性分析

HTML
PDF
TL;DR本文研究了预训练神经模型在自动语音识别中的鲁棒性，并对wav2vec2，HuBERT和DistilHuBERT进行了鲁棒性分析，发现它们在LibriSpeech和TIMIT数据集上对噪声的鲁棒性不同，同时进行了层次分析以预测每层的学习，通过误差传播和对比清晰和嘈杂的数据，验证了Pasad等人的预测，并提出未来研究的有趣方向。
发现论文，激发创造
  • 学习噪声不变表示以实现稳健语音识别

    本文提出了一种建议将干净示例和其表面扰动的对应物不仅映射到相同类别，而且映射到相同表示的不变表示学习（IRL）方法，该方法通过数据扩充有效地减少字符错误率，特别是在不同于训练期间所见的若干场景上。

    Jul, 2018

  • 学习稳健且多语言的语音表征

    本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和25种不同语言的语音识别上均有显著提升。

    Jan, 2020

  • 自监督语音表示模型的分层分析

    本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

    Jul, 2021

  • 鲁棒自然语言处理：最近进展、挑战与未来方向

    本篇论文总结了近年来自然语言处理(NLP)的抗干扰性研究，并就技术、度量标准、嵌入、基准等维度深入探讨了该领域中存在的问题和待解决的方向。

    Jan, 2022

  • 基于贝叶斯神经建模的端到端语音识别增强方法应对闭模型对抗样本

    本文使用先进的贝叶斯神经网络来检测对抗性噪声干扰下的自动语音识别系统，实验结果表明，该检测系统相对于当前现有的增强方法，可以提高2.77%至5.42%的检测率，并且可以将单词错误率降低5.02%至7.47%。

    Feb, 2022

  • 跨语言零样本条件下多语言语言模型对现实世界噪声的鲁棒化：基于鲁棒对比度预训练的方法

    提出一种预处理方法(Robust Contrastive Pretraining)，将数据扩增和对比损失项结合，以提高多语言分类任务中现有预训练模型(Robust Contrative Pretraining，RCP)的稳健性，并在两个句子水平和两个序列标注多语言分类任务中取得了显著提高。

    Oct, 2022

  • 不止一种鲁棒性：用对抗样本欺骗Whisper

    本文研究了对抗性噪声下自动语音识别模型的鲁棒性。作者通过小幅度输入扰动，即使增加了最高45分贝的噪音，可以显著降低模型精度，甚至能够转录出所选目标句子。作者还证明了欺骗模型语言检测器可以极大地降低多语言模型的性能，强调了adversarially robust ASR的必要性。

    Oct, 2022

  • 基于置信度的端到端语音识别模型集成

    本文探索基于置信度的集成模型方法，证明5种单语音模型组合胜于使用专用语言识别块的模型选择，同时结合基础模型和适应模型，可在数据原始状态和目标状态下获得强大结果。

    Jun, 2023

  • 语音鲁棒性基准测评：一个语音识别鲁棒性评估基准

    自动语音识别模型在物理世界和数字世界中的多样化损坏下进行可靠预测的鲁棒性评估是至关重要的。我们提出了一个全面的基准测试工具Speech Robust Bench (SRB)来评估ASR模型在各种损坏条件下的鲁棒性。通过使用SRB评估顶尖ASR模型的鲁棒性，我们观察到模型大小、离散表示以及自我训练等建模选择对于鲁棒性有积极影响。我们还进一步测量ASR模型在不同社会群体（如英语和西班牙语使用者，男性和女性）的数据上的鲁棒性，并观察到鲁棒性在不同群体之间存在明显差异。我们相信SRB将有助于推动鲁棒ASR模型的未来研究，使全面且可比较的鲁棒性评估更加容易进行。

    Mar, 2024

  • 重新评估对抗性语音中的噪声增强方法

    本研究探讨了噪声增强训练是否能够同时提高自动语音识别（ASR）系统的对抗鲁棒性。通过对四种最先进的ASR架构在不同增强条件下的对抗鲁棒性进行比较分析，结果表明，噪声增强不仅改善了模型在噪声语音上的表现，还提升了其抵御对抗攻击的能力。

    Sep, 2024