Aug, 2022

自动语音识别端到端神经模型的鲁棒性分析

PDF
TL;DR本文研究了预训练神经模型在自动语音识别中的鲁棒性，并对 wav2vec2，HuBERT 和 DistilHuBERT 进行了鲁棒性分析，发现它们在 LibriSpeech 和 TIMIT 数据集上对噪声的鲁棒性不同，同时进行了层次分析以预测每层的学习，通过误差传播和对比清晰和嘈杂的数据，验证了 Pasad 等人的预测，并提出未来研究的有趣方向。
pre-trained neural modelsautomatic speech recognitionrobustness analysisnoisy datalayer-wise analysis
发现论文，激发创造
  • 语音情感分析中的预训练模型表示及其对噪声的鲁棒性

    研究了预训练模型表示在情感语音识别中的应用，探讨了情感维度的表示方式，发现情感的激活度和支配力主要依赖于声学信息，而情感的价值主要依赖于词汇信息。使用多模态融合表示生成了最先进的情感识别，改进了情感估计中的准确度，发现词汇表示比声学表示更具有鲁棒性，并证明多模态模型知识蒸馏有助于提高基于声音的模型的噪声抗干扰能力。

    Mar, 2023

  • 自监督语音表示模型的分层分析

    本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

    Jul, 2021

  • 引入噪声稳健性到预训练自动语音识别

    提出了一种新的方法，即 Cleancoder 预处理架构，从 Conformer ASR 模型中提取隐藏激活，并将其馈送给解码器来预测去噪谱图。通过在嘈杂的输入中重建去噪谱图，我们证明 Cleancoder 可以滤除语音中的噪声，从而改善了下游模型在嘈杂环境中的总词错误率（WER）。

    Sep, 2023

  • 走向客观和可解释的语音障碍评估：基于 CNN 和 Transformer 的模型的比较分析

    这项研究提出了一种基于自我监督的 Wav2Vec2 模型，用于头颈癌患者的语音分类，以提高准确性和语音特征辨别能力，并通过评估多样化语料库的方式验证了该模型的有效性，为医生提供了可解释的方法来理解病理性语音。

    Jun, 2024

  • 视频行为识别模型的大规模稳健性分析

    本文对现有的视频动作识别模型进行大规模的复杂性分析，提供了不同的基准数据集，并研究了现有模型对 90 种不同扰动的鲁棒性，结果表明，基于 Transformer 的模型相对于基于 CNN 的模型更具鲁棒性。

    Jul, 2022

  • 通过数据增强、课程学习和多任务增强提高 DistilHuBERT 对未知噪声环境的鲁棒性

    本研究提出了一种改进的 DistilHuBERT 模型，该模型引入了噪声和混响以及多任务学习的训练方法，能够有效提高在真实环境下的边缘语音应用中的鲁棒性。

    Nov, 2022

  • 在数据稀缺环境中利用 ASR 驱动的 Wav2Vec2 探索病态语音质量评估

    自动语音质量评估中，由于数据稀缺，大多数研究仅在二元分类等简单任务上取得良好结果。本文提出了一种新的方法，通过采用预训练的 Wav2Vec2 架构作为语音评估中的特征提取器，将学习系统从片段级别提升至音频级别，从而建立了一个新的基准，使得只使用 95 个训练样本可以实现对可懂度和严重程度得分的预测，平均均方误差分别为 0.73 和 1.15。结果表明，基于 ASR 的 Wav2Vec2 模型带来了最佳结果，并且可能暗示了 ASR 与语音质量评估之间的强相关性。同时，我们还评估了该方法在变长片段持续时间和语音内容等因素上的影响。

    Mar, 2024

  • 自然语言预训练模型在自动语音评估语音障碍中的解释

    训练和比较两种配置下的音频频谱变换器，用于语音障碍检测；应用注意力回传方法生成模型相关性图，分析模型在不同条件下的预测方式，证明随着模型微调，注意力的扩散减少，重点集中在特定音素区域。

    Jun, 2024

  • 面对对抗攻击的自动语音识别模型最近的改进

    改进语音识别模型的鲁棒性需要从评估攻击转向系统化评估，通过在不同架构上评估代表性的对抗性攻击，我们发现不同攻击算法的相对强度在更改模型架构时会有相当大的差异，并且某些攻击的结果不能盲目信任，自我监督预训练等培训选择可显着影响鲁棒性。

    Mar, 2022

  • 评估神经语言模型对输入干扰的鲁棒性

    我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

    Aug, 2021