Jul, 2024

突尼斯方言的低资源语言理解和自动语音识别的语音编码器性能分析

HTML
PDF
TL;DR本论文研究通过自监督学习进行预训练的语音编码器在不同领域的下游任务中表现出卓越的性能，包括口语语言理解（SLU）和自动语音识别（ASR）。针对低资源的突尼斯阿拉伯口音情境以及结合了低资源SLU和ASR场景的情况，本研究通过比较不同的自监督学习方法的有效性做出贡献。使用许多经过自监督学习训练的语音编码器在TARIC-SLU数据集上进行实验，其中语音编码器均在单语言或多语言语音数据上进行了预训练。一些语音编码器还通过多模式监督师生范式进行了改进，而无需领域内数据或突尼斯数据。本研究得出了许多重要发现，并在本文中进行了讨论。
发现论文，激发创造
  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进SSL-based预训练模型的泛化性能提供指导。

    Mar, 2022

  • 基于预训练SSL、ASR、LM和SLU模型的口语理解整合研究

    本研究旨在探索使用预训练策略增强口语理解任务性能，通过自监督的语音和语言模型在SLU测评基准上进行实验，发现预训练模型可于低资源环境中提升结果，其中以预训练的语言和语音模型分别在情感分析和命名实体识别任务上效果最突出。

    Nov, 2022

  • 阿拉伯语方言识别的鲁棒性研究

    通过自监督学习模型、迁移学习和直接分类器，对阿拉伯语方言识别系统进行评估，研究其在领域漂移情况下的鲁棒性，并发现自我训练虽能减轻此类挑战，但在实际应用中可能不足够。

    Jun, 2023

  • SpeechGLUE：自监督语音模型能否有效获取语言知识?

    本研究探讨了自监督学习技术对于语音表示及其所携带的语言信息的捕捉能力，并通过 SpeechGLUE 基准测试说明了此技术在语言理解任务方面表现不如基于文本的自监督学习，但优于基准模型，展示了它从无标签的语音数据中能够获取特定数量的语言能力。

    Jun, 2023

  • 一种低资源语音识别的新型自训练方法

    我们提出了一种自学习方法，用于低资源环境下的自动语音识别（ASR）。通过在小语种如旁遮普语中生成高度精确的伪标签，我们的方法在四个真实语音数据集上相对提高了14.94%的词错误率，并在Common Voice旁遮普语数据集上取得了最佳结果。

    Aug, 2023

  • 利用数据收集和无监督学习对突尼斯阿拉伯语混合语音自动识别的提升

    本研究旨在解决突尼斯方言语音识别的挑战，通过采集和注释文本和音频数据，并探索自监督、半监督和少样本代码转换方法，使其在不同的突尼斯测试集中取得前沿成果，最终通过人工评估确保翻译的准确性，所提出的模型适用于突尼斯阿拉伯语、英语和法语的语言混合，并提供训练和测试数据供公众使用和进一步改进。

    Sep, 2023

  • SSHR：利用自监督层级表征进行多语言自动语音识别

    通过使用自我监督学习(SSHR)的分层表示，我们提出了一种新方法来优化多语种自动语音识别(ASR)。我们分析了自我监督学习模型的不同层次，发现了与语言和内容相关的信息，从相关的中间层中提取与语言相关的帧，并通过自注意机制引导针对特定内容的提取。此外，我们使用提出的Cross-CTC在最后几层中引导模型获取更多与内容相关的信息。通过在Common Voice和ML-SUPERB这两个多语种数据集上的评估，实验结果表明我们的方法在我们所知的范围内达到了最先进的性能。

    Sep, 2023

  • 多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

    利用自监督语音表示的微调和利用转录训练的n-gram语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

    Nov, 2023

  • 自我监督表示在自动语音识别中的高效注入

    我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入ASR架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在Librispeech和Tedlium数据集上相较于基准模型实现了显著性能提升。

    Apr, 2024

  • 探索数据量对极低资源语言自动语音识别的影响

    本研究针对低资源自动语音识别（ASR）技术，关注两种濒危的南岛语言Amis和Seediq，探讨数据增强技术的有效性。通过提出一种多语种语料库的数据选择方案，利用自监督学习在低资源环境下进行预训练，从而显著提高ASR性能，展示了通过跨语言迁移学习进行数据增强的可行性和潜力。

    Sep, 2024