Jun, 2023

时间戳嵌入匹配声学到词汇 CTC 自动语音识别

PDF
TL;DR本文提出了一种新颖的嵌入匹配语音识别器，它直接产生了单词的起始时间和持续时间，并可以在测试时输出单词分割和单词混淆网络，同时相对于非时间戳系统，Word timestamps 可以使得系统获得类似于混合 DNN-HMM 系统的单词分割准确度和不到 3ms 的较小差异，我们提供了多重假设嵌入匹配 ASR 的更严格的分析。
automatic speech recognitionword-level connectionist temporal classificationword start timesword segmentationembedding-matching asr
发现论文，激发创造
  • 使用非尖峰 CTC 提高端到端自动语音识别中单词时间的帧级分类器

    本文提出了一种在 E2E 系统中改进字时分类器的方法，该方法采用了传统的 CTC 损失连接与低级别 Mel-scale 滤波器和高级 ASR 编码器输出相结合的输入特征。与混合系统和之前的 E2E 方法相比，在内部中文语料库上，提出的方法在字时准确性指标上分别取得了 95.68％/94.18％的成绩，并通过延迟 CTC 峰值来进一步提高了字时准确性。

    Jun, 2023

  • 用于德语端到端语音识别的大语料 CTC 分割

    本研究结合之前未标注的语音数据通过采用 CTC 预训练的两阶段方法生成训练数据，使用 CTC 和 attention Transformer 模型对德语语音识别进行训练，实现了 12.8％的识别错误率，超过了传统混合 DNN / HMM ASR 的 14.4％的基础水平。

    Jul, 2020

  • 端到端多模态语音识别

    探讨了如何应用视觉通道，以及 Connectionist Temporal Classification (CTC) 和 sequence-to-sequence (S2S) 的方法来提高自动语音识别 (ASR) 的鲁棒性，并比较了两种方法在干净和嘈杂的数据上的效果。

    Apr, 2018

  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • 基于联合 CTC-Attention 的端到端语音识别的进展，带有深度 CNN 编码器和 RNN-LM

    本研究提出了一个最先进的端到端自动语音识别模型，通过使用联合 CTC 和基于注意力机制的编码解码器网络来学习听和写字，其中编码器是基于 VGG 网络的深度 CNN，CTC 网络和注意力解码器共同训练，通过在波束搜索过程中，将 CTC 预测、注意力解码器预测和单独训练的 LSTM 语言模型相结合，相较于先前的系统，在自发性日语和中文语音上减少了 5-10% 的误差，并且我们的端到端模型击败了传统的混合式 ASR 系统。

    Jun, 2017

  • 基于 CTC 的 ASR 的上下文感知知识迁移策略

    该研究利用一种上下文感知的知识传递策略为基于 CTC 的自动语音识别模型注入语言学信息，提高了其性能表现，通过实验证明了该方法在 AISHELL-1 和 AISHELL-2 数据集上的有效性。

    Oct, 2022

  • 使用声学 CTC 损失进行迭代伪强制齐次化，以进行自监督 ASR 领域适应

    本文提出了基于自监督域适应的算法，采用迭代式伪强制对齐算法生成的对齐文本，用于定制端到端自动语音识别，并通过降低文本量或扩展对齐窗口的方法迭代计算文本对齐更新。算法精良地运用帧级字符概率、CTC 损失计算等技术，实现了对主流语音数据库的高精度音频文本对齐、领域自适应和半监督训练。

    Oct, 2022

  • 实现非自回归端到端 ASR 模型的时间戳预测

    本文提出在非自回归 ASR 模型 - Paraformer 中，利用连续积分 - 火时间戳机制（CIF）进行时间戳预测，并采用 fire-delay、静音插入和 scaled-CIF 等后处理策略来解决 CIF 的偏置问题。实验结果显示，优化后的 CIF 时间戳明显提高了准确性，相对 AAS 降低了 12.3％。

    Jan, 2023

  • 利用端到端自主训练的半监督自动语音识别

    本文提出了一种基于端到端系统的自学习半监督自动语音识别方法，通过对无监督数据的伪标记迭代地增强有标记的数据，从而提高系统性能，实现数据增强效果，获得了 14.4% 的相对识别错误率改进。

    Jan, 2020

  • CTC 对齐的音频文本嵌入与流式开放词汇关键词检测

    本文介绍了一种新颖的流式开放性词汇关键词定位方法，通过基于文本的关键词注册，在每个输入帧上使用连接主义时间分类（CTC）寻找以该帧结尾的最佳对齐，并聚合帧级声学嵌入（AE）以获得与目标关键词文本的文本嵌入（TE）对齐的更高级别（即字符、词或短语）的 AE，然后计算聚合 AE 与 TE 的相似度，取得了流媒体开放性词汇关键词定位的联合音频文本嵌入的最佳效果，尽管以流式方式操作，但我们的方法在 LibriPhrase 数据集上取得了竞争性的性能，仅使用了 155K 个模型参数和时间复杂度为 O (U) 的解码算法，其中 U 是推断时目标关键词的长度。

    Jun, 2024