May, 2020

Mask CTC：基于 CTC 和 Mask 预测的非自回归端到端 ASR

PDF
TL;DR本文提出了 Mask CTC 框架，它是一种新颖的非自回归端到端自动语音识别（ASR）框架，它通过加强 CTC 的输出来生成序列，并使用 Transformer 编码器 - 解码器进行训练。实验结果表明，相比标准的 CTC 模型，Mask CTC 模型在不同的语音识别任务中表现更优，并显著减少了推理时间。
mask ctcnon-autoregressiveend-to-end asrtransformer encoder-decoderinference time reduction
发现论文，激发创造
  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • 基于 CTC 的音频语音识别中基于音素掩码的非自回归误差修正

    该研究提出了一种基于 CTC 和 PC-MLM 的自动语音识别方法，该方法综合考虑了速度和准确率，并在实验评估中表现出更高的性能。

    Sep, 2022

  • 一种基于 CTC 对齐的非自回归变压器模型用于端到端自动语音识别

    本论文介绍了一种 CTC Alignment-based Single-Step Non-Autoregressive Transformer（CASS-NAT）方法，用于自动语音识别，通过利用与 CTC 对齐的语音边界信息提取标记级别音频嵌入来提高推理速度，实现了自监督学习，提出了多个训练策略来改善单词错误率（WER）表现，并探究了基于误差的对齐采样方法以减少训练和测试过程中的对齐不匹配，实验结果表明 CASS-NAT 对于多个 ASR 任务具有接近于 AT 的 WER，同时提供了～24 倍的推理加速，并且未经过语言模型的情况下，实现了新的最高效果。

    Apr, 2023

  • BERT 遇上 CTC：利用预训练掩码语言模型的端到端语音识别新公式

    本文提出了 BERT-CTC，一种新的端到端语音识别形式，采用 BERT 来适应连接时间分类（CTC），通过自注意机制，BERT-CTC 关注输入和输出序列的完整上下文，并在保持 CTC 训练效率的同时学习音频和标记表示之间的内部 / 交叉依赖关系，并通过 CTC 解码将 mask-predict 算法与 CTC 解码相结合以迭代地细化输出序列。实验结果表明 BERT-CTC 在说话风格和语言变化的情况下都优于传统方法，并且 BERT-CTC 中的语义表示对下游口语理解任务有益。

    Oct, 2022

  • 4D ASR: CTC、Attention、Transducer 和 Mask-Predict 解码器的联合建模

    本论文提出了四解码器联合建模 (4D) 的 CTC，关注机制，RNN-T 和掩码预测，旨在通过联合建模提高模型稳健性，在应用场景下轻松切换四个解码器，并通过一次解码方法进一步提高性能。

    Dec, 2022

  • 基于 CTC 的非自回归语音翻译

    本文介绍了一种基于 CTC 的非自回归语音翻译模型，采用预测感知编码方法和跨层注意力方法解决了翻译任务中的条件独立生成和单调对齐等问题，加速比为 5.67 倍，BLEU 分数为 29.5，在 MuST-C ST 基准测试上优于自回归模型和之前的最佳结果。

    May, 2023

  • 基于 CTC 的 ASR 的上下文感知知识迁移策略

    该研究利用一种上下文感知的知识传递策略为基于 CTC 的自动语音识别模型注入语言学信息，提高了其性能表现，通过实验证明了该方法在 AISHELL-1 和 AISHELL-2 数据集上的有效性。

    Oct, 2022

  • 基于联合 CTC-Attention 的端到端语音识别的进展，带有深度 CNN 编码器和 RNN-LM

    本研究提出了一个最先进的端到端自动语音识别模型，通过使用联合 CTC 和基于注意力机制的编码解码器网络来学习听和写字，其中编码器是基于 VGG 网络的深度 CNN，CTC 网络和注意力解码器共同训练，通过在波束搜索过程中，将 CTC 预测、注意力解码器预测和单独训练的 LSTM 语言模型相结合，相较于先前的系统，在自发性日语和中文语音上减少了 5-10% 的误差，并且我们的端到端模型击败了传统的混合式 ASR 系统。

    Jun, 2017

  • 听写填空：用于语音识别的非自回归变压器

    本研究提出了两种不自回归变换器结构以解决自动语音识别中的推理计算成本问题，在训练期间，输入的标记被特殊的掩码标记随机替换，网络需要考虑未被掩盖的上下文和语音输入以预测与那些掩码标记相对应的标记。结果表明，该模型能够支持不同的解码策略，特别是在 Aishell 上，该方法的性能超过了 Kaldi ASR 系统，与最先进的自回归变换器的性能相当，而且速度提高了 7 倍。

    Nov, 2019

  • 联合掩码 CPC 和 CTC 训练用于自动语音识别

    这篇论文介绍了一种利用自监督学习方法，通过单阶段训练自动语音识别模型，利用标记数据和非标记数据来训练模型，实现了对下游任务性能的直接优化，并在 Librispeech 100-hour 数据集上实现了类似于 wav2vec ~2.0 的词错误率，最后提出解决对比任务是计算 CTC 损失的正则化的假设。

    Oct, 2020