Jul, 2023

探索自监督学习表征中的语音分离与识别集成

PDF
TL;DR深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。
neural speech separationautomatic speech recognitionreverberant scenariosmulti-speaker recognitionself-supervised learning representation
发现论文，激发创造
  • 语音识别，语音增强和自监督学习表示的端到端集成

    本文介绍了一种针对鲁棒语音识别的全自动语音识别模型 IRIS，该模型整合了语音增强模块和自监督学习表征模块，并在单通道 CHiME-4 测试中表现出最好的性能（开发集：2.0％，测试集：3.9％）。

    Apr, 2022

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • SSHR：利用自监督层级表征进行多语言自动语音识别

    通过使用自我监督学习 (SSHR) 的分层表示，我们提出了一种新方法来优化多语种自动语音识别 (ASR)。我们分析了自我监督学习模型的不同层次，发现了与语言和内容相关的信息，从相关的中间层中提取与语言相关的帧，并通过自注意机制引导针对特定内容的提取。此外，我们使用提出的 Cross-CTC 在最后几层中引导模型获取更多与内容相关的信息。通过在 Common Voice 和 ML-SUPERB 这两个多语种数据集上的评估，实验结果表明我们的方法在我们所知的范围内达到了最先进的性能。

    Sep, 2023

  • 混合编码器用于语音分离和识别

    该论文提出了一种基于中间地带的方法来处理多说话者语音识别，该方法既利用了情感识别模块类似于模块化方法的显式语音分离技术，又将混合语音信息直接纳入 ASR 模块，以减轻语音分离器所产生的错误传播，并且通过结合个体说话者信息的层来交换跨说话者的上下文信息。

    Jun, 2023

  • 混响作为语音分离监督

    本文提出了一种新的无监督算法损失函数，称为混响作为监督（RAS），使用两个信道的混合信号，训练神经网络以分离源，并通过维纳滤波器来评估所分离出的混响信号。实验结果表明，相对于只使用已标注数据和使用完整数据的有监督算法，本方法在只有 5% 到 10% 的标注数据时可以获得可观的性能优越性。

    Nov, 2022

  • 自我监督表示在自动语音识别中的高效注入

    我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入 ASR 架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在 Librispeech 和 Tedlium 数据集上相较于基准模型实现了显著性能提升。

    Apr, 2024

  • 基于对比学习和深度模块化的语音分离

    研究使用对比学习建立框架的表示，并使用学到的表示在下游深度模块化任务中，自监督学习以最小化属于给定说话者的框架之间的距离，以进行语音分离。通过 WSJ0-2mix 和 WSJ0-3mix 的评估，该技术的性能不会随着说话者数量的增加而显着降低。

    May, 2023

  • 无预训练的端到端单声道多说话人 ASR 系统

    本文提出了一种最先进的单声道多说话者端到端自动语音识别模型，通过利用单个注意力模块为每个分离的说话者和调度抽样进一步提高性能，实验表明该方法可以在分离重叠的语音和识别分离的流方面提高端到端模型的性能。

    Nov, 2018

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 音频视觉端到端多通道语音分离、去混响和识别

    通过全面将视频信息融入系统的所有组件，我们提出了一种音频 - 视觉多通道语音分离、去混响和识别方法，有效地解决了包含重叠发言者、噪声和混响的鸡尾酒会言语的准确识别问题。

    Jul, 2023