Oct, 2022

使用 CTC 指导加速 RNN-T 训练和推断

PDF
TL;DR通过协同训练的 CTC 模型的指导，我们提出了一种新颖的方法来加速基于递归神经网络传输器 (RNN-T) 的训练和推理过程，并通过在编码器中进行帧降维操作来减少计算量。在 Librispeech 和 SpeechStew 任务上评估表明，新方法可将 RNN-T 推理加速 2.2 倍而不影响单词错误率 (WER)。
recurrent neural network transducerconnectionist temporal classificationencoder embedding framectc alignmentinference acceleration
发现论文，激发创造
  • 神经转换器帧跳过的空白正则化 CTC

    本研究提出了两种新的正则化方法，旨在明确鼓励 CTC 中非空白符号的自环，以增加空白符号的比例，从而加速神经转换器的推理，并且实验证明，我们提出的方法可以将神经转换器的帧减少率接近理论边界，提高性能并不损失性能。

    May, 2023

  • GTC: 基于 CTC 的引导训练技术提高场景文本识别的准确率和效率

    本文提出了一种基于引导训练的 CTC 模型，在保持快速推断速度的同时，从更强大的注意力引导中学习更好的对齐和特征表示，进而实现对正常和非正常场景文本的精确识别。此外，还引入了图卷积网络（GCN）来学习提取特征的局部相关性，并在标准基准测试中取得了新的场景文本识别的最新成果。

    Feb, 2020

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 空白坍塌：压缩 CTC 发射以实现更快的解码

    本文分析了 CTC 束搜索中的空白标签并提出了一种简单的方法来减少计算量，提高解码速度，实验和理论都证明了该方法的有效性，并且发现该方法在模型准确率更高时效果更加明显，适用于 ASR 领域。

    Oct, 2022

  • 自注意力网络在语音识别中的连接主义时间分类

    本文提出了 SAN-CTC，是一种基于自注意力机制和 CTC 的深度神经网络，用于实现端到端的语音识别，经过评估，相比于现有的 CTC 模型和编码器 - 解码器模型，具有更好的性能。

    Jan, 2019

  • CTC 对齐提高自回归翻译

    这篇论文探讨了 Connectionist Temporal Classification 在翻译任务中的应用，并提出了 CTC/attention 的联合模型，改进了传统 attention 模型的训练表现和效果。

    Oct, 2022

  • 基于条件独立假设的 CTC 语音识别方法的中间预测结果条件化松弛

    本文提出了一种方法来放宽 CTC-based 自动语音识别 (ASR) 模型的条件独立性假设，通过在中间层中添加辅助的 CTC loss，使预测更准确，减少了相对词错误率超过 20%。

    Apr, 2021

  • 语音翻译的预训练：CTC 应用最优输运

    本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

    Jan, 2023

  • 提升 RNN-T 中声音和文本表征的融合

    本文提出在深度学习中使用门结构和双线性池化，在自动语音识别领域取得了较大的词错误率的优化。

    Jan, 2022

  • 基于 CTC 的 ASR 模型知识蒸馏与 BERT

    本研究提出使用 BERT 来优化基于 CTC 的自动语音识别，通过计算最合理的 CTC 路径获得对齐，并且不影响 CTC 的快速推理速度。实验结果显示，该方法提高了识别准确率而不影响推理速度。

    Sep, 2022