Jun, 2024

基于块状关注掩码的高效非自回归解码

PDF
TL;DR该论文提出了一种新颖的非自回归（NAR）基于块的注意力掩码解码器（AMD），用于平衡 Conformer ASR 系统的性能效率权衡，实现在输出标签的连续块内并行 NAR 推理，通过使用注意力掩码隐藏，同时在块之间进行左到右的 AR 预测和历史上下文融合。设计了一种波束搜索算法，利用 CTC、AR 解码器和 AMD 概率的动态融合。LibriSpeech-100hr 语料库上的实验证明，结合 AMD 模块的三部分解码器在基线 CTC+AR 解码上实现了最大 1.73 倍的解码加速比，而在测试集上未引起统计学显著的词错误率（WER）增加。在具有相同解码实时因素的情况下，相对于 CTC+AR 基线，实现了高达 0.7% 和 0.3% 绝对（相对 5.3% 和 6.1%）的统计学显著 WER 降低。
non-autoregressive block-based attention mask decoderconformer asr systemsbeam search algorithmlibrispeech-100hr corpusword error rate (wer) reductions
发现论文，激发创造
  • 4D ASR: 联合波束搜索综合 CTC、注意力、转导和掩码预测解码器

    我们提出了一种联合建模方案，通过多任务学习和三种新的单通道波束搜索算法，我们训练出的 4D 模型在端到端自动语音识别上取得了更好的性能，并超过了使用单个解码器的模型。

    Jun, 2024

  • 提高非自回归机器翻译的流畅度

    本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

    Apr, 2020

  • 基于标签上下文的半自回归流式自动语音识别

    提出了一种流式的 “半自回归” ASR 模型，通过在上一个片段中引入先前块中发出的标签作为额外上下文，使用语言模型（LM）子网络，以及引入了一种新的贪婪解码算法来解决块边界附近的插入和删除错误，提高了语音处理的准确性和响应速度。

    Sep, 2023

  • 改进的 Mask-CTC 用于非自回归端到端 ASR

    为了实现自动语音识别的实时应用，并降低计算资源需求，本文结合 Conformer 结构和辅助目标预测方法，提高了基于 Mask-CTC 的端到端自动语音识别系统识别准确性 17.5% 以上，同时使推理速度不下降，结果超越标准 CTC 模型。

    Oct, 2020

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 非自回归推理的流式对齐调整

    提出了一种流式非自回归（non-AR）解码算法，其利用新型变换器解码器架构在每个帧上执行文本和音频的本地自我关注，并在每个层上进行时间对齐的交叉关注，实现了高效率和低延迟，在声音搜索数据集和 Librispeech 上的实验显示，我们的流式模型表现良好，并且在第一遍模型容量较小的情况下进行判别式训练会进一步提高词误率。

    Apr, 2022

  • 4D ASR: CTC、Attention、Transducer 和 Mask-Predict 解码器的联合建模

    本论文提出了四解码器联合建模 (4D) 的 CTC，关注机制，RNN-T 和掩码预测，旨在通过联合建模提高模型稳健性，在应用场景下轻松切换四个解码器，并通过一次解码方法进一步提高性能。

    Dec, 2022

  • 一种基于注意力机制的在线语音识别模型

    本文旨在通过采用延迟控制的双向结构和自适应单调分块注意力机制来消除全局软注意机制和双向编码器对实时语音识别的阻碍，并提出了两种方法来缓解两种方法结合时的性能下降，从而成功地获得了一个在线的 LAS 模型 LC-AMoChA。

    Nov, 2018

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • 流式端到端语音识别的解码器架构

    使用解码器专用架构进行分块流式自动语音识别，通过压缩 CTC 输出和上下文嵌入的语音特征，并将其作为提示逐块顺序提供给解码器，以快速估计输出令牌，同时采用随机长度前缀提示的新型训练方案，使模型能够应对分块处理引起的截断提示，并且在 LibriSpeech test-other 数据集上相对词错误率减少了 8%，速度是基线模型的两倍。

    Jun, 2024