Jan, 2020

学习稳健且多语言的语音表征

PDF
TL;DR本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。
unsupervised speech representation learningrobustnesstransferabilitydiverse speech datamany languages
发现论文，激发创造
  • 无监督口音领域自适应学习不变表示和风险最小化

    本文探讨通过将语音表征映射到对应的高级语言信息以学习领域不变的语音表征，结果证明，学习到的 latents 不仅捕捉到每个音素的发音特征，而且提高了适应能力，在 accened 测试基准上大幅优于基准模型。

    Oct, 2022

  • 自监督表示在口语建模中的鲁棒性

    本文探讨了基于自监督学习的语音表征模型的鲁棒性问题，提出了一种基于伪标注技术的有效学习自监督语音表征的方法，该方法可显著提高语音编码的效果，并在语音翻译任务中得到了验证。

    Sep, 2022

  • 大规模弱监督进行稳健语音识别

    研究了训练简单的语音处理系统预测互联网音频大量转录的能力，在 680,000 小时的多语言和多任务监督的基础上，生成的模型具有很好的泛化能力，并且通常与之前的完全监督结果竞争，但在零次传输设置下不需要进行任何微调，与人类相比，模型的准确性和稳健性接近，并且同时发布了模型和推理代码，作为进一步稳健语音处理工作的基础。

    Dec, 2022

  • 学习不变的语音表征

    本论文探讨了如何利用无监督的声学特征来增强语音识别，其中，通过学习始终对某些变换和变形不变的音频信号表示，实现了对短小的语音样本的有效处理，从而极大地提升了元音分类的准确性并降低了样本复杂性。

    Jun, 2014

  • UniSpeech: 利用标注和非标注数据进行统一语音表示学习

    本文提出了一种名为 UniSpeech 的统一预训练方法，利用有标签和无标签数据学习语音表示，其中针对语音结构的有监督 CTC 学习和语音感知对比自监督学习以多任务学习的方式进行。实验结果表明，UniSpeech 在跨语言表征学习方面的有效性超过了自监督预训练和有监督转移学习。

    Jan, 2021

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

    利用自监督语音表示的微调和利用转录训练的 n-gram 语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达 20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

    Nov, 2023

  • 跨语言视觉言语表征学习

    本文探讨了跨语言自监督视觉表示学习，使用 Raw Audio-Visual Speech Encoders（RAVEn）框架对无标注的多语言数据进行预训练，然后用标记的转录 fine-tune 视觉模型，实验证明多语言模型优于单语言模型，多语言胜过英文预训练，使用相似的语言效果更好，而无标签的语言进行精调与使用目标语言在预训练集上进行竞争。

    Mar, 2023

  • 跨语言自监督语音表征，提高口吃症患者的语音识别能力

    使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

    Apr, 2022

  • CLARA：音频表征获取的多语言对比学习

    提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

    Oct, 2023