Jun, 2023

面向语言识别的标签感知语音表示学习

PDF
TL;DR本文提出了一种新的 Label Aware Speech Representation (LASR) 方法，将自我监督表示学习与语言标签信息相结合，使用三元组目标函数将语言标签与自我监督损失函数结合起来，并进一步优化语音表示以适用于下游任务，发现该方法比现有的语言识别系统更为有效，并可应用于多语音识别任务。
speech representation learninglanguage recognitionlabel aware speech representationtriplet-based objective functionmulti-lingual speech recognition
发现论文，激发创造
  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • MASR：元数据感知的语音表示

    该论文提出了一种元数据感知的语音表示学习框架（MASR），通过使用多个外部知识源来增强元数据信息的利用，以实现在语言识别、语音识别、说话人和情感识别等下游任务中较其他基准方法明显的性能提升，并对语言识别任务进行了详细分析，以阐明所提出的损失函数如何使表示能够区分密切相关的语言。

    Jul, 2023

  • LASER：通过自我监督学习对齐语音表示以改进内容相关任务

    使用 SSFT 方法 LASER，通过自附着自监督表示的学习和对齐，通过少量的 GPU 精调获得相对于 ASR 和 PR 任务的显著改进。

    Jun, 2024

  • 通过多标签分类实现有效的口语语言识别

    本文主要讲述了如何利用卷积神经网络构建高效的口语语种识别模型，并在训练时采用多标签的方式来应对非目标语种的识别，实验结果表明，该模型相比当前最先进的方法在速度上有数量级的提升，并且在多标签分类任务中更加稳健。

    Jun, 2023

  • LiRA: 通过自监督学习从音频中学习视觉语音表示

    该研究提出了利用声音训练人脸运动的模型以提高口语阅读的准确度。

    Jun, 2021

  • 学习语音的通用非语义表示

    本篇文章提出了对非语义任务进行语音表征对比的基准，并提出了一种基于无监督三元组损失目标的表征方法，该方法在基准测试中表现优异，甚至在许多迁移学习任务中超越了最新技术水平；

    Feb, 2020

  • 跨语言视觉言语表征学习

    本文探讨了跨语言自监督视觉表示学习，使用 Raw Audio-Visual Speech Encoders（RAVEn）框架对无标注的多语言数据进行预训练，然后用标记的转录 fine-tune 视觉模型，实验证明多语言模型优于单语言模型，多语言胜过英文预训练，使用相似的语言效果更好，而无标签的语言进行精调与使用目标语言在预训练集上进行竞争。

    Mar, 2023

  • LiteVSR：通过学习无标签数据的语音表征实现高效的视觉语音识别

    该论文提出了一种新颖的资源高效方法，利用任何训练过的自动语音识别（ASR）模型生成的语音表示来进行视觉语音识别（VSR）。通过远离最近文献中流行的资源密集型趋势，我们的方法从已训练的基于 Conformer 的 ASR 模型中提取知识，在标准的 VSR 基准测试中以极少的资源利用实现竞争性的性能。仅使用未标记的音频 - 视觉数据，我们的基准模型在 LRS2 和 LRS3 测试基准上分别达到了 47.4% 和 54.7% 的词错误率（WER）。在有限标记数据的微调之后，词错误率降至 35%（LRS2）和 45.7%（LRS3）。我们的模型可以在几天内在单个消费级 GPU 上进行训练，并能够在老旧硬件上实时进行端到端的 VSR，为实现更易于获取和高效利用资源的 VSR 方法提供了一个路径。

    Dec, 2023

  • 学习稳健且多语言的语音表征

    本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

    Jan, 2020

  • 探索自监督学习表征中的语音分离与识别集成

    深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

    Jul, 2023