Oct, 2020

FastEmit: 序列级发射正则化的低延迟流式自动语音识别

PDF
TL;DR本研究提出一种名为 FastEmit 的序列级发射规则方法，该方法可在训练转导模型时直接对序列级概率进行延迟规则化，从而在不需要任何对齐的情况下更适合流式 ASR 的序列级优化，有效降低音频识别的延迟并提升精度。
streaming automatic speech recognitionword error ratesequence transducer modelsfastemitlatency reduction
发现论文，激发创造
  • 流式端到端语音识别序列转导器的最小延迟训练

    本文提出了一种新的训练方法，通过明确建模和减少序列变换器模型的延迟来达到最优的延迟和准确性均衡，实验结果表明，所提出的最小延迟训练方法将有助于将哈尔滨工业大学卡苏耶延迟从 220ms 降低到 27ms，并在误识率降低了 0.7% 的同时，优于传统的对齐限制训练和快速发射方法。

    Nov, 2022

  • 高速准确流式端到端自动语音识别

    本文提出了使用延迟惩罚技巧和最小词错误率训练技术来减少端到端模型延迟以提高其质量的方法，并在语音识别方面展示出重要改进。

    Apr, 2020

  • 一种更好和更快的流式 ASR 端到端模型

    本文研究了使用不同算法，如 FastEmit，Conformer 层和 Cascaded Encoders 等，提高端到端模型在流式语音识别领域的质量和延迟平衡。

    Nov, 2020

  • 低延迟流式 ASR 的延迟惩罚转录器

    提出一种惩罚转导模型符号延迟的简单方法，来平衡无外部对齐的在线模型特征提取和识别精度之间的权衡，该方法对流式 Conformer 模型和单向 LSTM 模型都可以有效降低符号延迟并且保持可以接受的性能下降。

    Oct, 2022

  • FastCorrect: 使用编辑对齐技术的快速音频语音识别错误纠正

    本文提出了一种基于编辑对齐的新型非自回归 (NAR) 自动语音识别 (ASR) 误差校正模型 FastCorrect，其将 ASR 输出语句的源词元素对齐到对应的地面真值句子的目标词元素，并根据编辑距离提取出每个源词元素对应的目标词个数，用于训练长度预测器及调整源词以进行并行生成，实验证明快速校正可以大大提高 ASR 的纠错速度，并且相比于前人的自回归校正模型和常用 NAR 模型有着更好的表现。

    May, 2021

  • TrimTail: 简单但有效的声谱长度惩罚实现低延迟流式自动语音识别

    本文提出了 TrimTail 方法，一种简单而有效的发射规则化方法，用于改善流式 ASR 模型的延迟。该方法可以在输入话语的频谱上直接应用长度惩罚以降低延迟，并可与各种模型结构和训练模式有效地结合使用。在几个数据集上进行测试表明，使用 TrimTail 方法可以显著地降低延迟并提高准确性。

    Nov, 2022

  • 利用文本对齐进行联合流式自动语音识别和语音翻译的分词级被序列化输出训练

    该论文介绍了一种使用单个解码器共同生成自动语音识别和语音翻译输出的流式 Transformer-Transducer，并提出了一种联合令牌级串行输出训练方法以实现有效的 ASR 和 ST 内容生成，其平均 ASR 延迟为 1 秒，ST 延迟为 1.3 秒，在多语言情况下优化了输出质量表现。

    Jul, 2023

  • 流式并行传感器束搜索算法及快慢级联编码器

    该研究提出了在流式自动语音识别中应用串联有因果和非因果编码器的方法，并使用两个有不同输入上下文大小和以不同的音频间隔产生输出的流式非因果编码器进行改进；同时提出了一种新的并行时间同步波束搜索算法。研究结果表明，在公共数据集 Librispeech 和内部数据集上，该算法在稍微增加音节延迟的情况下，实现 WER 降低 20％左右，并探索了分布式处理和共享参数降低内存占用的技术，以实现低计算成本和低内存占用的边缘设备上的低延迟处理。

    Mar, 2022

  • 使用流式端到端模型进行长篇语音识别

    通过多样化训练数据以及 LSTM 状态操作模拟长形音频，可以增强端到端语音识别模型对未知领域数据的泛化能力。

    Oct, 2019

  • FastCorrect 2：自动语音识别中的多候选快速纠错

    本文提出了 FastCorrect 2，一种错误校正模型，并采用多候选项作为输入，以提高纠错精度。 FastCorrect 2 采用非自回归生成来进行快速推理，其中包括一个编码器，用于处理多个源语句，并且根据每个源标记的预测持续时间生成调整后的源语句；同时，提出了一种新的对齐算法和候选预测器，以最大程度地实现多个句子在令牌和发音相似性方面的令牌对齐，并检测适合解码器的最合适的候选项。实验结果表明，FastCorrect 2 可以减少单个候选者的 WER，比联级重评分和校正流水线更有效，并可用作 ASR 的统一后处理模块。

    Sep, 2021