Apr, 2022

非自回归推理的流式对齐调整

PDF
TL;DR提出了一种流式非自回归（non-AR）解码算法，其利用新型变换器解码器架构在每个帧上执行文本和音频的本地自我关注，并在每个层上进行时间对齐的交叉关注，实现了高效率和低延迟，在声音搜索数据集和 Librispeech 上的实验显示，我们的流式模型表现良好，并且在第一遍模型容量较小的情况下进行判别式训练会进一步提高词误率。
streamingnon-autoregressive decoding algorithmrnn-t modeltransformer decoder architectureminimum word error rate
发现论文，激发创造
  • Align-Refine: 迭代实时对准实现非自回归式语音识别

    本研究提出了一种基于迭代重对齐的端到端 Transformer 模型，在语音识别中优化了 CTC（Connectionist Temporal Classification）对齐，允许长度可变的插入和删除操作。该模型在一个迭代过程中具有很强的性能，甚至具有更浅的编码器。

    Oct, 2020

  • 基于标签上下文的半自回归流式自动语音识别

    提出了一种流式的 “半自回归” ASR 模型，通过在上一个片段中引入先前块中发出的标签作为额外上下文，使用语言模型（LM）子网络，以及引入了一种新的贪婪解码算法来解决块边界附近的插入和删除错误，提高了语音处理的准确性和响应速度。

    Sep, 2023

  • 使用 Transformer 模型进行流式自动语音识别

    通过使用自我注意力来模拟时间上下文信息，基于编码器 - 解码器的序列到序列模型已经在端到端自动语音识别领域取得了最先进的成果。本研究提出了一种基于 Transformer 的流式 ASR 系统，其可以在每个发音单词之后快速生成输出，因此可以应用于更广泛的 ASR 场景中。我们采用了一种时间限制的自注意力机制来实现流式语音序列的建模，同时通过触发式关注机制来优化编码器 - 解码器的关注机制。在 LibriSpeech 的测试数据上，我们的方案分别达到了 2.8% 和 7.2% 的词错误率，这是我们所知道的这个任务的最好的流式端到端 ASR 成果。

    Jan, 2020

  • 通过迭代改善的方法进行非自回归神经序列建模

    提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

    Feb, 2018

  • 迭代自回归：提高低延迟语音增强模型的新方法

    本文介绍了一种简单、有效的技巧，用于训练自回归低延迟语音增强模型，证明了该技术在不同架构和训练场景下均导致了稳定的改进。

    Nov, 2022

  • 多解码器与知识蒸馏的流式与非流式自动语音识别的联合优化

    本文通过使用多解码器和知识蒸馏来实现流式和非流式自动语音识别（ASR）的联合优化，主要研究了 ASR 模块的编码器整合、分离解码器以实现灵活切换模式，以及通过两个模块化编码器和解码器之间的相似性保持知识蒸馏来提高性能。评估结果显示，在单一模型中与多个独立模块相比，流式 ASR 的字符错误率相对减少了 2.6%-5.3%，非流式 ASR 的字符错误率相对减少了 8.3%-9.7%。

    May, 2024

  • 序列模型的快速结构化解码

    非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

    Oct, 2019

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 流式并行传感器束搜索算法及快慢级联编码器

    该研究提出了在流式自动语音识别中应用串联有因果和非因果编码器的方法，并使用两个有不同输入上下文大小和以不同的音频间隔产生输出的流式非因果编码器进行改进；同时提出了一种新的并行时间同步波束搜索算法。研究结果表明，在公共数据集 Librispeech 和内部数据集上，该算法在稍微增加音节延迟的情况下，实现 WER 降低 20％左右，并探索了分布式处理和共享参数降低内存占用的技术，以实现低计算成本和低内存占用的边缘设备上的低延迟处理。

    Mar, 2022

  • 基于块状关注掩码的高效非自回归解码

    该论文提出了一种新颖的非自回归（NAR）基于块的注意力掩码解码器（AMD），用于平衡 Conformer ASR 系统的性能效率权衡，实现在输出标签的连续块内并行 NAR 推理，通过使用注意力掩码隐藏，同时在块之间进行左到右的 AR 预测和历史上下文融合。设计了一种波束搜索算法，利用 CTC、AR 解码器和 AMD 概率的动态融合。LibriSpeech-100hr 语料库上的实验证明，结合 AMD 模块的三部分解码器在基线 CTC+AR 解码上实现了最大 1.73 倍的解码加速比，而在测试集上未引起统计学显著的词错误率（WER）增加。在具有相同解码实时因素的情况下，相对于 CTC+AR 基线，实现了高达 0.7% 和 0.3% 绝对（相对 5.3% 和 6.1%）的统计学显著 WER 降低。

    Jun, 2024