利用低秩变换器实现轻量高效端到端语音识别

Oct, 2019

利用低秩变换器实现轻量高效端到端语音识别

Lightweight and Efficient End-to-End Speech Recognition Using Low-Rank Transformer

Genta Indra Winata, Samuel Cahyawijaya, Zhaojiang Lin, Zihan Liu, Pascale Fung

TL;DR本研究提出低秩变压器（LRT）神经网络架构，以实现减少网络参数和提高训练推理速度的目标，进而在端对端语音识别任务上实现更好的泛化性能和更低的错误率。

Abstract

Highly performing deep neural networks come at the cost of computational complexity that limits their practicality for deployment on portable devices. We propose the low-rank transformer (LRT), a memory-efficient and fast neural architecture that significantly reduces the parameters an

low-rank transformer neural architecture end-to-end speech recognition parameter reduction inference speedup

发现论文，激发创造

一种简化了的全量化 Transformer 用于端到端语音识别

本研究通过探究去除特定模块的影响以及减少神经网络的数字精度的方法，成功地简化和压缩了基于 Transformer 编码器 - 解码器的端到端语音识别架构，实验结果表明，我们能够通过将数字精度减少到 8 位定点精度，将全精度模型的参数数量减小并将模型进一步压缩 4 倍，同时维持模型高精度。

Nov, 2019

大规模语言模型重整的低秩适应对于参数高效语音识别

提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。

Sep, 2023

ResidualTransformer：采用权重共享的残差低秩学习的 Transformer 层

通过重新参数化模型权重，将 Transformer 编码器层中的模型权重缩小，可以降低模型大小，减轻设备内存的压力，并在语音处理任务上取得了显著的性能改进。

Oct, 2023

优化边缘语音识别

本文研究边缘设备上的语音识别问题，通过使用端到端的神经结构，并应用更有效的神经网络拓扑和优化技术，成功构建了一个高精度的，在边缘设备上运行的小型语音识别系统。

Sep, 2019

低资源口语理解的瓶颈低秩变换器

本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

Jun, 2022

Transformer-Transducer: 自注意力端到端语音识别

本文研究了使用 Transformer 网络来实现端到端语音识别，提出使用 VGGNet 结合因果卷积来降低计算复杂度，同时使用截断的自注意力机制来实现流式处理。在公共数据集 LibriSpeech 上进行实验，该方法相比于基于 LSTM/BLSTM 的神经输入转换器，获得了更好的识别效果，并实现了流式处理。

Oct, 2019

带长短范围注意力的轻量 Transformer

本文提供了一种高效的移动 NLP 架构 —— Lite Transformer，它通过使用 Long-Short Range Attention 来进行本地上下文建模与长距离关系建模的特化，从而在机器翻译、摘要生成和语言建模三个方面均优于 vanilla transformer，并且在受到硬件资源限制的条件下，Lite Transformer 在 WMT'14 英法任务上均优于 Transformer。此外，对该模型进行修剪与量化等操作可以将模型体积进一步压缩 18.2 倍，而在 500M MACs 的计算量下，Lite Transformer 的困惑度比 Transformer 低 1.8。

Apr, 2020

LiteTransformerSearch: 用于高效语言模型的无需训练的神经结构搜索

本文提出了一种名为 “轻量 Transformer 搜索（LTS）” 的新型网络自动设计算法，利用解码器参数作为感性代理，不需要任何模型训练，直接在目标设备上运行，方便快捷地制定任务性能与硬件成本间的 Pareto 前沿方案，应用到自回归语言模型中可获得高的准确率，同时摆脱了数百个 GPU 小时训练的碳足迹。

Mar, 2022

基于 Transformer-RNN-Transducer 的多任务学习和联合优化语音识别

本论文探讨了 transformer-RNN-transducer 系统的多任务学习、联合优化和联合解码方法，证明了这些方法能够有效地降低字词错误率，从而保持大型文本语料库的信息。

Nov, 2020

Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型

该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，并展示了我们的全注意力模型在 LibriSpeech 基准测试上的准确性优于现有技术水平。

Feb, 2020