Mar, 2024

Skipformer: 一种高效语音识别的跳过与恢复策略

PDF
TL;DR通过 Skip-and-Recover Conformer 架构，本研究提出了一种动态且不均匀地压缩序列输入长度的方法，实验表明该模型在 Aishell-1 数据集上将输入序列长度减少 31 倍，在 Librispeech 语料库上减少 22 倍，并能达到更好的识别准确率和更快的推理速度。
conformer-based attention modelsskip-and-recoversequence input lengthctc outputencoder output
发现论文，激发创造
  • 高效基于 Conformer 的端到端语音识别关键帧机制

    我们提出了一种使用关键帧的自注意力机制和下采样机制的方法，能够降低 Conformer 模型中自注意力机制的计算复杂度，并取得与基准模型相当或更高的性能。同时，我们的方法在模型训练和推断过程中，可以丢弃超过 60% 的无用帧，从而显著加速推断速度。

    Oct, 2023

  • 高效的构象器：渐进式下采样和分组注意力用于自动语音识别

    本文介绍了如何通过引入逐渐下采样的机制和新颖的分组注意力机制将 Conformer 架构的复杂性降至与有限计算预算相适应的情况。在 LibriSpeech 数据集上进行的实验说明，该架构相比于 Conformer 速度更快，性能更好，且包含更少的参数。

    Aug, 2021

  • 将连接时序汇总添加到 Conformer 中，以提高其解码效率，用于语音识别

    本研究提出了一种新的” 连接时序总结 “(CTS) 方法，它可以减少 Conformer 模型中 attention decoder 所需的 frames 数，提高解码效率，并且它能够在不损失 ASR 准确性的情况下降低解码预算，提高识别准确度.

    Apr, 2022

  • Squeezeformer：自动语音识别的高效 Transformer

    通过重新审视 Conformer 架构的设计选择，我们提出了 Squeezeformer 模型，展示其在同一训练方案下一致优于当前最先进的 ASR 模型，取得了 7.5％，6.5％和 6.0％的字错率（WER）结果，比具有相同数量的 FLOPs 的 Conformer-CTC 更好 3.1％，1.4％和 0.6％。

    Jun, 2022

  • 语音识别的稀疏深度 Conformer 模型

    本研究提出了一种基于 Conformer 的深度稀疏自注意力机制的自动语音识别模型，能有效提高长序列数据的表达能力和提高识别率。

    Sep, 2022

  • 基于动态模块跳过的流式 conformer 编码器提升视觉驱动的关键词识别

    利用一种以视觉为灵感的关键词检测框架，我们提出了一种具有输入相关动态深度的架构，能够处理流媒体音频。我们通过在可训练的二进制门中扩展一个 conformer 编码器来动态跳过网络模块。我们的方法在使用 Librispeech 前 1000 个最常见单词进行持续语音上的检测和定位准确性方面有所提高，同时还保持了较小的内存占用。引入门也减少了处理的平均量，而不影响整体性能。在背景噪声下使用谷歌语音命令数据集时，这些好处尤为明显，非语音输入中可省略多达 97% 的处理，因此使我们的方法特别适用于始终开启的关键词检测器。

    Aug, 2023

  • 使用 Conformers 的端到端音视频语音识别

    本文提出一种基于混合 CTC / 注意力模型的 ResNet-18 和卷积扩充变压器 (Conformer)，可以进行端到端的训练。在语音识别方面取得了具有突破性的进展，实现了最先进效果。

    Feb, 2021

  • Branchformer: 并行 MLP-Attention 结构用于语音识别和理解中的局部和全局上下文抓取

    本文章提出一种基于自注意力机制和 MLP 模块的可定制语音转录模型 Branchformer，其可以同时提取全局和局部依赖关系，并且在多项基准测试上均胜过了 Transformer 和 cgMLP，与 Conformer 的表现相当。此外，该模型具有双分支结构，可以降低计算复杂度。

    Jul, 2022

  • HyperConformer：用于高效语音识别的多头超级混合器

    本文介绍了一种名为 HyperConformer 的语音识别结构，它通过引入高效的 HyperMixer 机制，实现了对于长输入序列较为经济的全局交互建模，并在可获得的训练数据限制下达到与或高于传统结构 Conformer 相似的识别表现。

    May, 2023

  • 实用 Conformer：优化 Conformer 的大小，速度和 FLOPs，用于设备和云 ASR

    本文提出了一种优化的 conformer 模型，通过替换低层 conformer 块、策略性缩小架构和利用 RNNAttention-Performer 等方式，优化内部状态数量，降低推理延迟。通过级联编码器，我们发现这些优化可以将延迟降低 6.8 倍，并保持合适的精度，可以作为独立的编码器或高性能 ASR 流水线的第一部分。

    Mar, 2023