Sep, 2022

基于 CTC 的音频语音识别中基于音素掩码的非自回归误差修正

PDF
TL;DR该研究提出了一种基于 CTC 和 PC-MLM 的自动语音识别方法，该方法综合考虑了速度和准确率，并在实验评估中表现出更高的性能。
connectionist temporal classificationautomatic speech recognitionphone-conditioned masked lmlm integrationinference speed
发现论文，激发创造
  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • Mask CTC：基于 CTC 和 Mask 预测的非自回归端到端 ASR

    本文提出了 Mask CTC 框架，它是一种新颖的非自回归端到端自动语音识别（ASR）框架，它通过加强 CTC 的输出来生成序列，并使用 Transformer 编码器 - 解码器进行训练。实验结果表明，相比标准的 CTC 模型，Mask CTC 模型在不同的语音识别任务中表现更优，并显著减少了推理时间。

    May, 2020

  • 借助误差暴露和一致性规范化提升非自回归机器翻译

    通过错误曝光和一致性正则化的训练方法，研究中提出了解决条件掩码语言模型 (CMLM) 在训练和推断之间数据分布差异的问题，并在五个翻译基准上实验，取得了相对基线模型平均 0.68 和 0.40 BLEU 得分的改进，同时我们的 CMLMC-EECR 在与 Transformer 相比的翻译质量上达到了最佳表现，实验结果验证了我们方法的有效性。

    Feb, 2024

  • 联合掩码 CPC 和 CTC 训练用于自动语音识别

    这篇论文介绍了一种利用自监督学习方法，通过单阶段训练自动语音识别模型，利用标记数据和非标记数据来训练模型，实现了对下游任务性能的直接优化，并在 Librispeech 100-hour 数据集上实现了类似于 wav2vec ~2.0 的词错误率，最后提出解决对比任务是计算 CTC 损失的正则化的假设。

    Oct, 2020

  • 听写填空：用于语音识别的非自回归变压器

    本研究提出了两种不自回归变换器结构以解决自动语音识别中的推理计算成本问题，在训练期间，输入的标记被特殊的掩码标记随机替换，网络需要考虑未被掩盖的上下文和语音输入以预测与那些掩码标记相对应的标记。结果表明，该模型能够支持不同的解码策略，特别是在 Aishell 上，该方法的性能超过了 Kaldi ASR 系统，与最先进的自回归变换器的性能相当，而且速度提高了 7 倍。

    Nov, 2019

  • 使用预训练语言模型、嵌入蒸馏和上采样策略改善 CTC 非自回归翻译质量

    通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型

    Jun, 2023

  • 提高非自回归机器翻译的流畅度

    本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

    Apr, 2020

  • 基于情境适配器和自适应增强的 CTC 语音识别模型个性化研究

    该研究提出了一种新的语音识别模型，使用动态增强和电话对齐网络来优化编码器和解码器，在编码器中引入关注稀有单词和超出词汇表以及解码器中使用子词预测结果，结果表明 F1 可以达到 60%。

    Oct, 2022

  • CTC 对齐提高自回归翻译

    这篇论文探讨了 Connectionist Temporal Classification 在翻译任务中的应用，并提出了 CTC/attention 的联合模型，改进了传统 attention 模型的训练表现和效果。

    Oct, 2022

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022