EMNLPMar, 2022

RED-ACE: 使用置信度嵌入的 ASR 鲁棒性错误检测

PDF
TL;DR该研究提出了一种基于自动语音识别 (ASR) 系统的置信得分，改善 ASR 误差检测 (AED) 模型的性能，并证明了这种置信得分的补充作用以及 ASR Confidence Embedding 的有效性和鲁棒性，并发布了一个包含有标记的 LibriSpeech 语料库的 ASR 输出的新型 AED 数据集。
asr error detectionautomatic speech recognitionconfidence scoresasr confidence embeddinglibrispeech corpus
发现论文，激发创造
  • MF-AED-AEC: 利用多模态融合、ASR 错误检测和 ASR 错误修正进行语音情感识别

    本文介绍了一种引入 ASR 错误检测和修正的辅助任务来增强 ASR 文本的语义连贯性，并进一步提出了一种新颖的多模态融合方法，名为 MF-AED-AEC。实验结果表明，MF-AED-AEC 在性能上显著优于基线模型 4.1%。

    Jan, 2024

  • 基于混合注意力的编码器 - 解码器模型用于高效语言模型适应

    提出了一种新的混合注意力编码器 - 解码器（HAED）语音识别模型，通过分离声学模型和语言模型，以保留传统混合自动语音识别系统的模块化，实现了对传统基于文本的语言模型自适应技术的使用，从而在相对于纯 AED 模型在领域外文本数据进行语言模型自适应时实现了 21% 的词错误率（WER）改进，并且在一般测试集上只有微小的词错误率（WER）退化。

    Sep, 2023

  • 基于非自回归端到端语音识别系统的准确可靠置信度估计

    这篇论文提出了 CIF-Aligned 的置信度估计模型（CA-CEM），并使用 Paraformer 实现了精确可靠的置信度估计，最终在 AUC、RMSE、ECE-U 等多个指标上获得显著改进。

    May, 2023

  • 基于混合换能器和注意力编码器 - 解码器模型的语音转文本任务

    通过结合 Transducer 和基于 Attention 的编码器 - 解码器 (AED) 框架，我们提出了一种新的 TAED 框架，它既具有非单调序列到序列学习的优势，又保持了 Transducer 的流式属性，通过在同一个语音编码器上共享模型来实现。在实验中，TAED 在离线 ASR 和 ST 任务中优于 Transducer，在流式任务中，TAED 在 ASR 任务和一个 ST 方向上表现优足以超越 Transducer。

    May, 2023

  • 跨模态离散语音单元的 ASR 错误修正

    ASR Error Correction (AEC) is investigated to tackle the Low-Resource Out-of-Domain (LROOD) problem, covering pre-training, fine-tuning, and incorporating discrete speech units to improve AEC quality. The proposed AEC approach demonstrates feasibility, efficacy, generalizability, superiority, and suitability for downstream applications.

    May, 2024

  • ed-cec：基于错误检测和上下文感知错误修正的提升罕见词识别的后处理方式

    通过错误检测和上下文感知的错误修正来改善对于罕见单词的识别，同时实现了具有较低词错误率的自动语音识别系统。

    Oct, 2023

  • 面向文本的 Transformer 模型用于自动语音发音错误检测

    本文提出了一种使用目标文本作为条件的 Transformer 模型，以在完全端到端的方式下输出考虑输入语音与目标文本关系的错误状态，提高了速度，并在 L2-Arctic 数据集上实验表明相对于 ASR-based 模型，提高了 8.4％的 $ F_1 $ 分数指标。

    Aug, 2020

  • 针对端到端语音识别和理解优化语音和语言潜空间的对齐

    本文提出引用对齐器和模态切换训练来更好地对齐语音和文本潜在空间，实验结果在 Librispeech ASR 任务和 SNIPS 槽填充任务上都表现出了显著的性能提升。

    Oct, 2021

  • 模态可信度感知的鲁棒端到端口语理解训练

    提出了一种增强对 ASR 错误鲁棒性的新型端到端（E2E）口语理解（SLU）系统，通过基于 ASR 假设的估计模态置信度融合音频和文本表示，来解决 E2E SLU 系统在文本表示质量低时的问题，并通过在 STOP 数据集上的准确性改进和分析来证明我们的方法的有效性。

    Jul, 2023

  • 基于注意力机制的序列到序列模型语音识别置信度估计

    本文探讨如何使用语音识别器的置信度得分来评估转录质量，提出了一种名为信心估计模块（CEM）的轻量化且有效的方法来解决端到端模型的过度置信问题，并发现 CEM 能潜在地改善半监督学习等下游任务。

    Oct, 2020