Jul, 2023

与目标对齐：利用通用即插即用框架优化 CTC 模型所需属性

PDF
TL;DR提出了一种名为 $ extit {Align With Purpose}$ 的通用 Plug-and-Play 框架用于在 Automatic Speech Recognition 等领域中，通过 CTC 和附加的损失项优化各种功能，例如发射时间和单词错误率，以实现对齐的改善和性能提升。
connectionist temporal classificationplug-and-playautomatic speech recognitionemission timeword error rate
发现论文，激发创造
  • CTC 对齐提高自回归翻译

    这篇论文探讨了 Connectionist Temporal Classification 在翻译任务中的应用，并提出了 CTC/attention 的联合模型，改进了传统 attention 模型的训练表现和效果。

    Oct, 2022

  • Bayes 风险 CTC：序列到序列任务中可控制的 CTC 对齐

    本文提出 Bayes risk CTC 模型来控制序列预测的对齐，并针对不同需求定制损失函数，实现预测路径优选。实验表明 BRCTC 模型能有效减少离线模型的推断成本并显著降低在线系统的整体延迟。

    Oct, 2022

  • 适用于顺序保持序列建模的变分连接主义时间分类

    将序列模型 CTC 与变分模型相结合，导出两个可用于训练保持顺序、更具普适性的序列模型的损失函数，实现直接优化模型对数似然的变分下界。

    Sep, 2023

  • 使用策略学习来提高端到端的语音识别

    本文介绍了如何在最大似然和策略梯度训练中联合训练来减少最大似然和语音识别性能指标之间的不匹配，并通过实验验证了其效果。

    Dec, 2017

  • 通过标签先验使 CTC 强制对齐更加平滑和准确

    为了改善 Connectionist temporal classification (CTC) 模型的尖峰行为并提高其在强制对齐生成中的适用性，本文通过利用标签先验知识来增加路径中空白部分较少的对齐得分并在训练中将其最大化，从而使得我们的 CTC 模型产生更少尖峰的后验概率并能够更准确地预测令牌的偏移，相较于标准的 CTC 模型和基于启发式的方法，我们的方法在 Buckeye 和 TIMIT 数据上在音素和词边界错误 (PBE 和 WBE) 上的表现提高了 12-40%；与广泛使用的强制对齐工具 Montreal Forced Aligner（MFA）相比，我们的方法在 Buckeye 的 PBE/WBE 上表现类似，但在 TIMIT 上稍逊。然而，我们的方法具有更简单的训练流程和更高的运行效率。我们的训练步骤和预训练模型已在 TorchAudio 中发布。

    Apr, 2024

  • 使用声学 CTC 损失进行迭代伪强制齐次化，以进行自监督 ASR 领域适应

    本文提出了基于自监督域适应的算法，采用迭代式伪强制对齐算法生成的对齐文本，用于定制端到端自动语音识别，并通过降低文本量或扩展对齐窗口的方法迭代计算文本对齐更新。算法精良地运用帧级字符概率、CTC 损失计算等技术，实现了对主流语音数据库的高精度音频文本对齐、领域自适应和半监督训练。

    Oct, 2022

  • 使用 CTC 指导加速 RNN-T 训练和推断

    通过协同训练的 CTC 模型的指导，我们提出了一种新颖的方法来加速基于递归神经网络传输器 (RNN-T) 的训练和推理过程，并通过在编码器中进行帧降维操作来减少计算量。在 Librispeech 和 SpeechStew 任务上评估表明，新方法可将 RNN-T 推理加速 2.2 倍而不影响单词错误率 (WER)。

    Oct, 2022

  • 基于情境适配器和自适应增强的 CTC 语音识别模型个性化研究

    该研究提出了一种新的语音识别模型，使用动态增强和电话对齐网络来优化编码器和解码器，在编码器中引入关注稀有单词和超出词汇表以及解码器中使用子词预测结果，结果表明 F1 可以达到 60%。

    Oct, 2022

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 语音翻译的预训练：CTC 应用最优输运

    本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

    Jan, 2023