Jun, 2024

自动语音评估的优化：W-RankSim 正则化和混合特征融合策略

PDF
TL;DR自动语音评估（ASA）通过最近的研究中使用自监督特征（SSL）取得了显著进展。然而，在 ASA 中存在一个关键挑战，即数据的不平衡分布，特别在英语测试数据集中表现明显。为了解决这个挑战，我们将 ASA 视为一个序列分类任务，引入了加权向量排序相似度（W-RankSim）作为一种新的正则化技术。W-RankSim 鼓励输出层中加权向量更靠近类似类别，这意味着具有相似标签的特征向量在收敛到相应的加权向量时逐渐靠近彼此。广泛的实验评估确认了我们方法在提高 ASA 的序列分类性能方面的有效性。此外，我们提出了一个混合模型，结合了 SSL 和手工制作的特征，展示了手工制作特征如何增强 ASA 系统的性能。
发现论文，激发创造
  • 解决数据稀缺和分布失衡问题的有效自动化口语评估方法

    使用自监督学习的方法，基于测量的分类和损失重新加权的两种新模型策略，提高了自动口语评估系统的学习者语言能力预测准确性。

    Apr, 2024

  • 理解自监督模型作为跨语言特征提取器的量化方法

    通过对英文自监督学习模型在跨语言环境中提取的特征进行研究，我们提出了一种新的度量标准来预测特征表示的质量。使用自动语音识别作为下游任务，我们分析了模型大小、训练目标和模型架构对一组拓扑多样的语料库中模型作为特征提取器的性能的影响。我们开发了一种新的度量标准，即 Phonetic-Syntax Ratio (PSR)，通过深度广义典型相关分析来衡量提取表示中的音标和合成信息。结果表明，wav2vec2.0 目标中的对比损失有助于更有效的跨语言特征提取。PSR 分数与自动语音识别性能呈正相关，表明单语自监督学习模型提取的音标信息可以用于跨语言设置中的下游任务。提出的度量标准是表示质量的有效指标，可用于模型选择。

    Nov, 2023

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 大规模自监督语音表征学习用于自动化说话者验证

    使用预训练模型学习到的语音表示作为输入特征，采用可学习权重的平均表示方法，在 Voxceleb 数据集上进行了自我监督训练，实现了自动说话人验证，在三个官方测试中分别取得了 0.537％、0.569％和 1.180％的等误差率（EER），超越了 VoxCeleb Speaker Recognition Challenge 2021 (VoxSRC2021) 中的优胜系统。

    Oct, 2021

  • 在数据稀缺环境中利用 ASR 驱动的 Wav2Vec2 探索病态语音质量评估

    自动语音质量评估中，由于数据稀缺，大多数研究仅在二元分类等简单任务上取得良好结果。本文提出了一种新的方法，通过采用预训练的 Wav2Vec2 架构作为语音评估中的特征提取器，将学习系统从片段级别提升至音频级别，从而建立了一个新的基准，使得只使用 95 个训练样本可以实现对可懂度和严重程度得分的预测，平均均方误差分别为 0.73 和 1.15。结果表明，基于 ASR 的 Wav2Vec2 模型带来了最佳结果，并且可能暗示了 ASR 与语音质量评估之间的强相关性。同时，我们还评估了该方法在变长片段持续时间和语音内容等因素上的影响。

    Mar, 2024

  • 跨语言自监督语音表征，提高口吃症患者的语音识别能力

    使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

    Apr, 2022

  • Wav2Vec-Aug: 有限数据下的改进自监督训练

    本文探讨了如何利用数据增强技术来解决语言和领域中数据不足的问题，从而在限制条件下将自监督学习应用于语音表示方面，并在 Wav2Vec 2.0 预训练模型的每个组成部分上提出了改进方法，在 Librispeech 的测试任务中比 Wav2Vec 2.0 实现了 13％的相对字错误率改进。

    Jun, 2022

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • 基于自适应排名的弱监督类不平衡文本分类样本选择

    采用 Adaptive Ranking-based Sample Selection 框架来解决弱监督下数据不平衡的问题，可提高文本分类任务的效果。

    Oct, 2022