优化中间结果提升 CTC 推导效果

Apr, 2022

Better Intermediates Improve CTC Inference

Tatsuya Komatsu, Yusuke Fujita, Jaesong Lee, Lukas Lee, Shinji Watanabe...

TL;DR本文提出了一种使用搜索的中间结果和多次条件的改进 CTC 推断方法，通过提出新的条件方法，如搜索中间结果和多次通过条件，使得 CTC 推断中的条件能力更强，相对于原本的自我条件的 CTC，在 LibriSpeech 数据集上测试表现有明显提高。

Abstract

This paper proposes a method for improved ctc inference with searched intermediates and multi-pass conditioning. The paper first formulates self-conditioned CTC as a probabilistic model with an intermediate predi

ctc inference probabilistic model beam-search conditioning methods librispeech dataset

发现论文，激发创造

基于条件独立假设的 CTC 语音识别方法的中间预测结果条件化松弛

本文提出了一种方法来放宽 CTC-based 自动语音识别 (ASR) 模型的条件独立性假设，通过在中间层中添加辅助的 CTC loss，使预测更准确，减少了相对词错误率超过 20%。

Apr, 2021

中间预测偏置增强未见词识别

基于自条件 CTC 的无适应参数方法可以通过替换中间 CTC 预测和传递纠正标签来提高对特定术语的识别准确性，实验证明该方法成功提高了未知单词的 F1 得分。

Jun, 2024

InterAug: CTC-based ASR 中增强噪声中间预测

本论文提出了 InterAug: 一种使用增强的中间表示进行条件化的基于 CTC 的 ASR 的新训练方法。所提出的方法充分利用了自身条件付 CTC 的调节框架，通过在中间预测结果的基础上进行调节来训练鲁棒模型，从而实现了迭代式精炼。在使用模拟删除、插入和替换误差的增强进行的实验中，验证了训练模型对每种误差都具有强韧性的性能，提高了强自我条件付 CTC 基线的语音识别性能。

Apr, 2022

基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

Feb, 2022

CTC 基础语音识别中的中间损失正则化

本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

Feb, 2021

语音翻译的预训练：CTC 应用最优输运

本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

Jan, 2023

层级条件端到端 ASR：CTC 和多粒度次词单元

本文提出了一种基于连接主义时间分类（CTC）的分层条件模型，通过在中间层应用辅助 CTC 损失，逐渐增加每个目标子单词序列的词汇量，并使每个级别的序列预测明确地以前一个级别的预测为条件，希望通过利用语言结构的层次结构有效地学习单词级表示，在 LibriSpeech-{100h，960h} 和 TEDLIUM2 上实验结果表明，与标准 CTC 模型和其他竞争模型相比，所提出的模型具有优越性能。

Oct, 2021

BERT 遇上 CTC：利用预训练掩码语言模型的端到端语音识别新公式

本文提出了 BERT-CTC，一种新的端到端语音识别形式，采用 BERT 来适应连接时间分类（CTC），通过自注意机制，BERT-CTC 关注输入和输出序列的完整上下文，并在保持 CTC 训练效率的同时学习音频和标记表示之间的内部 / 交叉依赖关系，并通过 CTC 解码将 mask-predict 算法与 CTC 解码相结合以迭代地细化输出序列。实验结果表明 BERT-CTC 在说话风格和语言变化的情况下都优于传统方法，并且 BERT-CTC 中的语义表示对下游口语理解任务有益。

Oct, 2022

利用门控层间协作提升基于 CTC 的语音识别模型

本文提出一种 Gated Interlayer Collaboration 机制，将文本信息引入语音识别 CTC-based models，提出了一种融合文本表示和声学特征的门单元，并在多个语料库上进行试验，结果表明该方法优于现有的多数基线模型。

May, 2022

使用 CTC 指导加速 RNN-T 训练和推断

通过协同训练的 CTC 模型的指导，我们提出了一种新颖的方法来加速基于递归神经网络传输器 (RNN-T) 的训练和推理过程，并通过在编码器中进行帧降维操作来减少计算量。在 Librispeech 和 SpeechStew 任务上评估表明，新方法可将 RNN-T 推理加速 2.2 倍而不影响单词错误率 (WER)。

Oct, 2022