Jan, 2023

实现非自回归端到端 ASR 模型的时间戳预测

PDF
TL;DR本文提出在非自回归 ASR 模型 - Paraformer 中，利用连续积分 - 火时间戳机制（CIF）进行时间戳预测，并采用 fire-delay、静音插入和 scaled-CIF 等后处理策略来解决 CIF 的偏置问题。实验结果显示，优化后的 CIF 时间戳明显提高了准确性，相对 AAS 降低了 12.3％。
asrend-to-endtimestamp predictioncontinuous integrate-and-fireparaformer
发现论文，激发创造
  • CIF: 端到端语音识别的连续积分与火模型

    本文提出了一种新颖的软单调对齐机制连续积分与火模型，用于序列传导且支持不同 ASR 方案、在线识别和声学边界定位，在一些支持策略的帮助下它表现良好，尤其在中文电话 ASR 基准测试上，取得了 2.86％的字错率，创造了新的最佳记录。

    May, 2019

  • 基于非自回归端到端语音识别系统的准确可靠置信度估计

    这篇论文提出了 CIF-Aligned 的置信度估计模型（CA-CEM），并使用 Paraformer 实现了精确可靠的置信度估计，最终在 AUC、RMSE、ECE-U 等多个指标上获得显著改进。

    May, 2023

  • 时间戳嵌入匹配声学到词汇 CTC 自动语音识别

    本文提出了一种新颖的嵌入匹配语音识别器，它直接产生了单词的起始时间和持续时间，并可以在测试时输出单词分割和单词混淆网络，同时相对于非时间戳系统，Word timestamps 可以使得系统获得类似于混合 DNN-HMM 系统的单词分割准确度和不到 3ms 的较小差异，我们提供了多重假设嵌入匹配 ASR 的更严格的分析。

    Jun, 2023

  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • 使用非尖峰 CTC 提高端到端自动语音识别中单词时间的帧级分类器

    本文提出了一种在 E2E 系统中改进字时分类器的方法，该方法采用了传统的 CTC 损失连接与低级别 Mel-scale 滤波器和高级 ASR 编码器输出相结合的输入特征。与混合系统和之前的 E2E 方法相比，在内部中文语料库上，提出的方法在字时准确性指标上分别取得了 95.68％/94.18％的成绩，并通过延迟 CTC 峰值来进一步提高了字时准确性。

    Jun, 2023

  • 告别 RNN-T Loss：一种新颖的基于 CIF 的自动语音识别 Transducer 架构

    该篇论文介绍了一种名为 CIF-Transducer (CIF-T) 的模型，它将连续积分 - 放电（CIF）机制与 RNN-T 模型结合起来，实现了高效的对齐。通过舍弃 RNN-T 损失函数，该模型减少了计算复杂性，并使预测网络的作用更加显著。同时，引入了 Funnel-CIF、Context Blocks、统一门控和双线性池化联合网络以及辅助训练策略来进一步提高性能。在 AISHELL-1 和 WenetSpeech 数据集的实验中，CIF-T 相对于 RNN-T 模型，在更小的计算开销下取得了最先进的结果。

    Jul, 2023

  • 一种基于 CTC 对齐的非自回归变压器模型用于端到端自动语音识别

    本论文介绍了一种 CTC Alignment-based Single-Step Non-Autoregressive Transformer（CASS-NAT）方法，用于自动语音识别，通过利用与 CTC 对齐的语音边界信息提取标记级别音频嵌入来提高推理速度，实现了自监督学习，提出了多个训练策略来改善单词错误率（WER）表现，并探究了基于误差的对齐采样方法以减少训练和测试过程中的对齐不匹配，实验结果表明 CASS-NAT 对于多个 ASR 任务具有接近于 AT 的 WER，同时提供了～24 倍的推理加速，并且未经过语言模型的情况下，实现了新的最高效果。

    Apr, 2023

  • 基于 Conformer 的单声道音频目标说话人自动语音识别

    我们提出了 CONF-TSASR，这是一种非自回归的端到端时间 - 频率域架构，用于单通道目标人说话者自动语音识别（TS-ASR）。该模型包括基于 TitaNet 的说话者嵌入模块，基于 Conformer 的掩蔽和 ASR 模块，通过联合优化这些模块来转录目标说话者的语音，忽略其他讲话者的语音。通过使用连接主义时间分类（CTC）损失进行训练，并引入一种比例不变的频谱重建损失来鼓励模型更好地将目标说话者的频谱与混合音频分离。在 WSJ0-2mix-extr（4.2％）数据集上，我们获得了最先进的目标说话者词错误率（TS-WER）。此外，我们首次报告了 WSJ0-3mix-extr（12.4％），LibriSpeech2Mix（4.2％）和 LibriSpeech3Mix（7.6％）数据集上的 TS-WER，为 TS-ASR 建立了新的基准。所提出的模型将通过 NVIDIA NeMo 工具包开源。

    Aug, 2023

  • 通过分层蒸馏将预训练语言模型中的知识转移到基于 Cif 的语音识别器

    该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低 15％，并且达到了同类最先进模型的性能。

    Jan, 2023

  • 通过非自回归模型和 BERT 的跨模态知识转移实现快速端到端语音识别

    提出了一种非自回归语音识别模型 ——LASO，利用注意力机制，位置关联总结器，自注意机制等，把语音识别转化为逐位置分类的问题，并提供了跨模态迁移学习方法来提高性能。

    Feb, 2021