Dec, 2023

ROSE：基于多目标学习的空中交通管制中面向识别的语音增强框架

PDF
TL;DR提出了一种基于编码器 - 解码器的 U-Net 框架的识别导向语音增强（ROSE）框架，以消除空中交通管制 (ATC) 领域的无线电语音回声，并提高语音可懂性和自动语音识别 (ASR) 准确性。ROSE 在 ATC 场景中作为即插即用工具，无需对 ASR 模型进行额外的重新训练。
radio speech echospeech enhancementautomatic speech recognitionatcencoder-decoder-based u-net framework
发现论文，激发创造
  • 利用语境数据的两步方法：空中交通通信中的语音识别

    本文通过将 ASR 和 NLP 方法相结合并利用监控数据，研究了一种两步增强 callsign 的方法，最终提高了 53.7% 的绝对召唤符号识别率和 60.4% 的相对召唤符号识别率。

    Feb, 2022

  • 航空交通管制中的联合与顺序发言者 - 角色检测及自动语音识别

    利用空中交通管制数据进行自然语言处理需要进行预处理步骤，我们提出了一种基于 Transformer 的联合语音识别（ASR）和说话人分离（SRD）系统，比较了该系统与传统方法在多个 ATC 数据集上的性能，研究显示了何种情况下该联合系统能够胜过传统方法以及何种情况下其他架构更可取，同时我们评估了声学和词汇差异对所有架构的影响并展示了如何克服它们。

    Jun, 2024

  • ESPnet-SE++：面向鲁棒语音识别、翻译和理解的语音增强

    本文介绍了将语音分离和增强（SSE）纳入 ESpnet 工具包的最新进展，包括最新的语音增强模型及其评估，并设计了新界面将语音增强应用于前端任务包括自动语音识别（ASR）、语音翻译（ST）和口语理解（SLU），实验表明其在多通道场景下是一种有前途的研究方向及可以用作未来研究的基准语料库。

    Jul, 2022

  • 语音识别，语音增强和自监督学习表示的端到端集成

    本文介绍了一种针对鲁棒语音识别的全自动语音识别模型 IRIS，该模型整合了语音增强模块和自监督学习表征模块，并在单通道 CHiME-4 测试中表现出最好的性能（开发集：2.0％，测试集：3.9％）。

    Apr, 2022

  • 关于共同学习语音情感识别和自动语音识别的有效性和噪声稳健性

    本文研究了一种联合的 ASR-SER 多任务学习方法，发现在低资源环境下，采用这种方式可通过对背景噪音的处理从而提高 ASR 词错误率和 SER 分类准确性，结果表明使得该方法产生比独立 ASR 和 SER 方法更具噪音抗干扰性的模型。

    May, 2023

  • 关于自动语音识别表示在现实世界噪音语音情感识别中的有效性

    本文提出了一种高效的噪声语音情感识别（NSER）方法，通过采用自动语音识别（ASR）模型作为噪声鲁棒特征提取器来消除噪声语音中的非语音信息，以解决传统 NSER 方法在真实环境中对非平稳噪声的复杂性和不确定性的限制。实验证明，该方法在 NSER 性能上优于传统的噪声减少方法，胜过自监督学习方法，并且即使在使用 ASR 转录或噪声语音的基准转录的文本方法中也表现优异。

    Nov, 2023

  • 端到端多模态语音识别

    探讨了如何应用视觉通道，以及 Connectionist Temporal Classification (CTC) 和 sequence-to-sequence (S2S) 的方法来提高自动语音识别 (ASR) 的鲁棒性，并比较了两种方法在干净和嘈杂的数据上的效果。

    Apr, 2018

  • 基于序列到序列模型的最先进语音识别技术

    本研究通过引入多头注意力机制、使用字片段模型、同步训练、计划采样、标签平滑和最小字符错误率优化等技术手段，将 Listen Attend Spell（LAS）模型应用于语音搜索任务中，从而将错误率从 9.2% 显著降至 5.6%。在听写任务中，该模型的错误率为 4.1%，略优于传统系统的 5.0%。

    Dec, 2017

  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 提高口语理解的 ASR 错误管理

    介绍了一种基于神经网络的自然语言处理方法，用于识别语音识别中的错误和改进语音理解系统的性能。实验结果表明，该方案可以显著降低概念 / 值错误率，并且结合基于条件随机场的 SLU 方法和神经编码器 / 解码器注意力机制，可以识别出置信度区间和不确定性的语义输出片段，进而决定适当的错误处理措施。

    May, 2017