Sep, 2022

语音识别的稀疏深度 Conformer 模型

PDF
TL;DR本研究提出了一种基于 Conformer 的深度稀疏自注意力机制的自动语音识别模型，能有效提高长序列数据的表达能力和提高识别率。
conformerautomatic speech recognitiontransformerconvolutional neural networkself-attenion
发现论文，激发创造
  • Squeezeformer：自动语音识别的高效 Transformer

    通过重新审视 Conformer 架构的设计选择，我们提出了 Squeezeformer 模型，展示其在同一训练方案下一致优于当前最先进的 ASR 模型，取得了 7.5％，6.5％和 6.0％的字错率（WER）结果，比具有相同数量的 FLOPs 的 Conformer-CTC 更好 3.1％，1.4％和 0.6％。

    Jun, 2022

  • 高效的构象器：渐进式下采样和分组注意力用于自动语音识别

    本文介绍了如何通过引入逐渐下采样的机制和新颖的分组注意力机制将 Conformer 架构的复杂性降至与有限计算预算相适应的情况。在 LibriSpeech 数据集上进行的实验说明，该架构相比于 Conformer 速度更快，性能更好，且包含更少的参数。

    Aug, 2021

  • HyperConformer：用于高效语音识别的多头超级混合器

    本文介绍了一种名为 HyperConformer 的语音识别结构，它通过引入高效的 HyperMixer 机制，实现了对于长输入序列较为经济的全局交互建模，并在可获得的训练数据限制下达到与或高于传统结构 Conformer 相似的识别表现。

    May, 2023

  • Conformer: 卷积增强变压器（Convolution-augmented Transformer）用于语音识别

    本文提出了一种名为 Conformer 的语音识别（Automatic Speech Recognition）模型，结合了 Transformer 和卷积神经网络 (Convolution neural network) 的优点，在参数更少的情况下实现对于语音序列的局部和全局依赖的建模，并在 LibriSpeech benchmark 测试中取得了 2.1%/4.3%（未使用语言模型）和 1.9%/3.9%（使用外部语言模型）的字错率（Word Error Rate），表现超越了之前的基于 Transformer 和 CNN 的模型。

    May, 2020

  • 基于 Conformer 的鲁棒自动语音识别模型

    本研究采用基于 Conformer 的声学模型解决了自动语音识别中的鲁棒性问题，并在 CHiME-4 语料库的单声道 ASR 任务中经过测试，其使用 utterance-wise 归一化和说话人自适应的方式，相比经典的 wide residual 双向长短时记忆网络，减小了 18.3% 的模型大小，训练时间减少了 79.6％且相对误差率比 WRBN 低 8.4%。

    Mar, 2022

  • 高效自动语音识别的精准结构化剪枝

    本论文提出了一种新的压缩策略，利用结构剪枝和知识蒸馏来减小 Conformer 模型的模型大小和推理成本，同时保持高识别性能。该方法优于所有剪枝基线，在 LibriSpeech 基准测试中实现了 50％的模型大小减少和 28％的推理成本减少，同时最小化了性能损失。

    May, 2023

  • Branchformer: 并行 MLP-Attention 结构用于语音识别和理解中的局部和全局上下文抓取

    本文章提出一种基于自注意力机制和 MLP 模块的可定制语音转录模型 Branchformer，其可以同时提取全局和局部依赖关系，并且在多项基准测试上均胜过了 Transformer 和 cgMLP，与 Conformer 的表现相当。此外，该模型具有双分支结构，可以降低计算复杂度。

    Jul, 2022

  • 实用 Conformer：优化 Conformer 的大小，速度和 FLOPs，用于设备和云 ASR

    本文提出了一种优化的 conformer 模型，通过替换低层 conformer 块、策略性缩小架构和利用 RNNAttention-Performer 等方式，优化内部状态数量，降低推理延迟。通过级联编码器，我们发现这些优化可以将延迟降低 6.8 倍，并保持合适的精度，可以作为独立的编码器或高性能 ASR 流水线的第一部分。

    Mar, 2023

  • 针对 Conformer 转录器语音识别系统的有效紧凑上下文表示

    本文提出了一种能够学习到跨话语上下文特征的紧凑的低维度的特征表示方法，并通过在先前话语的历史向量上应用特殊设计的注意力池化层，来优化了基于 Conformer-Transducer 编码器的 ASR 系统，在 1000 小时的 Gigaspeech 语音语料上进行了实验，结果表明相对于仅使用话语内部语境的基线模型，该系统达到了 0.7% 至 0.5% 的绝对词错误率的统计显着降低（相对降低了 4.3% 至 3.1%） 的效果。

    Jun, 2023

  • 基于自适应的 Conformer 的连续手语识别与无监督预训练

    该研究通过使用 Conformer 和 Cross-Modal Relative Attention (CMRA) 来进行连续手语识别，利用 Regressional Feature Extraction 进行预训练，证明了这些方法在 PHOENIX-2014 和 PHOENIX-2014T 两个基准数据集上取得了最好的成果。

    May, 2024