Aug, 2023

用于文本识别的自训练正则化连接主义时序分类损失：一种简单而有效的方法

PDF
TL;DR提出了一种自我蒸馏方案来优化基于 CTC 的文本识别模型的损失函数，该方案通过引入 CTC 损失中的帧正则化项来强调个体监督，并利用最大后验概率来解决蒸馏过程中的一致性问题，称之为 Distillation Connectionist Temporal Classification (DCTC) 损失。在公共基准测试中的大量实验证明，DCTC 可以在没有任何副作用的情况下将文本识别模型的准确性提高 2.6%。
text recognition methodsloss functionsctc-based modelself-distillation schemedistillation connectionist temporal classification
发现论文，激发创造
  • 基于 CTC 的 ASR 模型知识蒸馏与 BERT

    本研究提出使用 BERT 来优化基于 CTC 的自动语音识别，通过计算最合理的 CTC 路径获得对齐，并且不影响 CTC 的快速推理速度。实验结果显示，该方法提高了识别准确率而不影响推理速度。

    Sep, 2022

  • 自注意力网络在语音识别中的连接主义时间分类

    本文提出了 SAN-CTC，是一种基于自注意力机制和 CTC 的深度神经网络，用于实现端到端的语音识别，经过评估，相比于现有的 CTC 模型和编码器 - 解码器模型，具有更好的性能。

    Jan, 2019

  • 适用于顺序保持序列建模的变分连接主义时间分类

    将序列模型 CTC 与变分模型相结合，导出两个可用于训练保持顺序、更具普适性的序列模型的损失函数，实现直接优化模型对数似然的变分下界。

    Sep, 2023

  • CTC 基础语音识别中的中间损失正则化

    本文提出了一种基于 CTC 目标的自动语音识别（ASR）的简单而高效的辅助损失函数，结合随机深度训练，应用于最近提出的 Conformer 网络，能够在没有语言模型的情况下实现 9.9％的单词错误率和 5.2％的字符错误率。

    Feb, 2021

  • GTC: 基于 CTC 的引导训练技术提高场景文本识别的准确率和效率

    本文提出了一种基于引导训练的 CTC 模型，在保持快速推断速度的同时，从更强大的注意力引导中学习更好的对齐和特征表示，进而实现对正常和非正常场景文本的精确识别。此外，还引入了图卷积网络（GCN）来学习提取特征的局部相关性，并在标准基准测试中取得了新的场景文本识别的最新成果。

    Feb, 2020

  • 通过粗标签实现端到端语音翻译的高效 CTC 正则化

    本文研究了在端到端语音翻译中采用 CoLaCTC 来替代传统 CTC 所需的真实的词汇标签，以达到减少模型参数，提高计算效率的目的，并通过实验证明，CoLaCTC 在具有可比甚至更好的性能的情况下，能够缩小标签空间达 256，并进一步提高 1.18x 至 1.77x 的训练效率。

    Feb, 2023

  • 语音翻译的预训练：CTC 应用最优输运

    本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

    Jan, 2023

  • 文本分类的跨语言蒸馏

    本研究提出了一个基于模型蒸馏的跨语言文本分类新方法，使用软概率预测作为并行语料库中标签丰富语言中的监督标签，成功地对目标语言训练分类器，并应用对抗式特征适应技术以减少分布不匹配现象，实验证明该方法具有优越的性能。

    May, 2017

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 基于条件独立假设的 CTC 语音识别方法的中间预测结果条件化松弛

    本文提出了一种方法来放宽 CTC-based 自动语音识别 (ASR) 模型的条件独立性假设，通过在中间层中添加辅助的 CTC loss，使预测更准确，减少了相对词错误率超过 20%。

    Apr, 2021