Jul, 2023

MASR：元数据感知的语音表示

PDF
TL;DR该论文提出了一种元数据感知的语音表示学习框架（MASR），通过使用多个外部知识源来增强元数据信息的利用，以实现在语言识别、语音识别、说话人和情感识别等下游任务中较其他基准方法明显的性能提升，并对语言识别任务进行了详细分析，以阐明所提出的损失函数如何使表示能够区分密切相关的语言。
speech representation learningself-supervised learningmetadata aware speech representationexternal knowledge sourcesperformance improvements
发现论文，激发创造
  • 面向语言识别的标签感知语音表示学习

    本文提出了一种新的 Label Aware Speech Representation (LASR) 方法，将自我监督表示学习与语言标签信息相结合，使用三元组目标函数将语言标签与自我监督损失函数结合起来，并进一步优化语音表示以适用于下游任务，发现该方法比现有的语言识别系统更为有效，并可应用于多语音识别任务。

    Jun, 2023

  • 元学习为端到端低资源语音识别

    该论文介绍了一种基于元学习的低资源自动语音识别的方法，通过用多语言进行预训练并使用模型无关元学习算法（MAML）来快速适应目标语言，该方法名为 MetaASR，经过初步测试，发现该方法在各个目标语言中均显著优于现有的多任务预训练方法，而且开启了一种将元学习应用于更多语音相关应用的新研究方向。

    Oct, 2019

  • SSHR：利用自监督层级表征进行多语言自动语音识别

    通过使用自我监督学习 (SSHR) 的分层表示，我们提出了一种新方法来优化多语种自动语音识别 (ASR)。我们分析了自我监督学习模型的不同层次，发现了与语言和内容相关的信息，从相关的中间层中提取与语言相关的帧，并通过自注意机制引导针对特定内容的提取。此外，我们使用提出的 Cross-CTC 在最后几层中引导模型获取更多与内容相关的信息。通过在 Common Voice 和 ML-SUPERB 这两个多语种数据集上的评估，实验结果表明我们的方法在我们所知的范围内达到了最先进的性能。

    Sep, 2023

  • 通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别

    我们提出了一个基于强化学习的框架（MSRL），动态地协调模态不变和模态特异性的表示，从而稳定地提供互补信息，用于音视频语音识别任务，实验结果表明，此方法在 LRS3 数据集中取得了最新的成果。

    Dec, 2022

  • 探索自监督学习表征中的语音分离与识别集成

    深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

    Jul, 2023

  • LASER：通过自我监督学习对齐语音表示以改进内容相关任务

    使用 SSFT 方法 LASER，通过自附着自监督表示的学习和对齐，通过少量的 GPU 精调获得相对于 ASR 和 PR 任务的显著改进。

    Jun, 2024

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 低资源语音识别的改进元学习

    提出了一种基于元学习的新框架来改进之前的模型无关元学习（MAML）方法，该方法采用多步损失（MSL）来解决 MAML 方法的稳定性问题，其实验表明 MSL 显著提高了训练过程的稳定性和整个系统的准确性，优于各种语言的 MAML 低资源 ASR 系统的字符错误率和稳定性。

    May, 2022

  • MOS 预测系统中语音表示的比较

    本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。

    Jun, 2022

  • MaLa-ASR: 多媒体辅助的基于 LLM 的 ASR

    提出了基于 LLM 的 ASR 模型 MaLa-ASR，可以整合从演示文稿中提取的文本关键词来提高会议内容的识别率，通过在输入提示中添加关键词，可将有偏差的词错误率（B-WER）相对减少 46.0％和 44.2％，在该数据集上取得了新的 SOTA。

    Jun, 2024