ACLFeb, 2023

通过粗标签实现端到端语音翻译的高效 CTC 正则化

PDF
TL;DR本文研究了在端到端语音翻译中采用 CoLaCTC 来替代传统 CTC 所需的真实的词汇标签，以达到减少模型参数，提高计算效率的目的，并通过实验证明，CoLaCTC 在具有可比甚至更好的性能的情况下，能够缩小标签空间达 256，并进一步提高 1.18x 至 1.77x 的训练效率。
end-to-end speech translationconnectionist temporal classificationregularizationvocabulary labelstraining efficiency
发现论文，激发创造
  • CTC 基础语音识别中的中间损失正则化

    本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

    Feb, 2021

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 语音翻译的预训练：CTC 应用最优输运

    本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

    Jan, 2023

  • 空白坍塌：压缩 CTC 发射以实现更快的解码

    本文分析了 CTC 束搜索中的空白标签并提出了一种简单的方法来减少计算量，提高解码速度，实验和理论都证明了该方法的有效性，并且发现该方法在模型准确率更高时效果更加明显，适用于 ASR 领域。

    Oct, 2022

  • 基于 CTC 的语音识别的分层多任务学习

    使用分层多任务学习进行基于 CTC 的语音识别，添加辅助任务可提高识别结果表现，不同的实验变量，低资源下标准多任务学习表现优异，最佳结果为采用分层多任务学习与预训练相结合，可将错误率降低 3.4% 绝对值。

    Jul, 2018

  • 神经转换器帧跳过的空白正则化 CTC

    本研究提出了两种新的正则化方法，旨在明确鼓励 CTC 中非空白符号的自环，以增加空白符号的比例，从而加速神经转换器的推理，并且实验证明，我们提出的方法可以将神经转换器的帧减少率接近理论边界，提高性能并不损失性能。

    May, 2023

  • CTC 对齐提高自回归翻译

    这篇论文探讨了 Connectionist Temporal Classification 在翻译任务中的应用，并提出了 CTC/attention 的联合模型，改进了传统 attention 模型的训练表现和效果。

    Oct, 2022

  • 用于文本识别的自训练正则化连接主义时序分类损失：一种简单而有效的方法

    提出了一种自我蒸馏方案来优化基于 CTC 的文本识别模型的损失函数，该方案通过引入 CTC 损失中的帧正则化项来强调个体监督，并利用最大后验概率来解决蒸馏过程中的一致性问题，称之为 Distillation Connectionist Temporal Classification (DCTC) 损失。在公共基准测试中的大量实验证明，DCTC 可以在没有任何副作用的情况下将文本识别模型的准确性提高 2.6%。

    Aug, 2023

  • 使用 CTC 指导加速 RNN-T 训练和推断

    通过协同训练的 CTC 模型的指导，我们提出了一种新颖的方法来加速基于递归神经网络传输器 (RNN-T) 的训练和推理过程，并通过在编码器中进行帧降维操作来减少计算量。在 Librispeech 和 SpeechStew 任务上评估表明，新方法可将 RNN-T 推理加速 2.2 倍而不影响单词错误率 (WER)。

    Oct, 2022

  • 基于 CTC 的非自回归语音翻译

    本文介绍了一种基于 CTC 的非自回归语音翻译模型，采用预测感知编码方法和跨层注意力方法解决了翻译任务中的条件独立生成和单调对齐等问题，加速比为 5.67 倍，BLEU 分数为 29.5，在 MuST-C ST 基准测试上优于自回归模型和之前的最佳结果。

    May, 2023