本研究提出低秩变压器（LRT）神经网络架构，以实现减少网络参数和提高训练推理速度的目标，进而在端对端语音识别任务上实现更好的泛化性能和更低的错误率。

Oct, 2019

本文提出了一种新颖的参数高效微调方法 LoTR，通过张量分解的形式对参数进行梯度更新，进而构建每层的低秩适配器。LoTR 在低秩张量表示下对一系列层进行压缩，尤其适用于深度模型，相比于 LoRA 具有更好的参数效率，且核心张量不依赖于原始权重维度，可以变得任意小，可实现极为廉价快速的下游微调。

Feb, 2024

提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。

Sep, 2023

通过引入 LOw-rank Residual Structure (LORS) 方法，该研究论文探讨了如何降低深度学习模型的参数数量并提高性能，以在 query-based 目标检测器的堆叠解码器中实现参数节省，实验结果表明该方法能够使模型在减少 70% 解码器参数的情况下，仍能达到相当或更好的性能。

Mar, 2024

提出了一种名为 RealFormer 的技术，可以创建残差注意力层的 Transformer 网络，并在许多任务上显著优于标准 Transformer 及其变体。该技术不仅稳定了训练，而且还可以导致具有更少注意力的模型，并提供了预训练检查点。

Dec, 2020

本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

Jun, 2022

通过权重残差的低秩特性，本文提出了一种高效的存储 fine-tuned 模型的方法，称为 Efficient Residual Encoding（ERE），通过低秩权重残差的逼近来实现 fine-tuned 模型权重的高效存储，并通过使用额外的量化和分层秩分配来分析权重残差的健壮性并推进存储效率上限。实验结果表明，ERE 方法在各种任务和模态下显着减少内存占用并保持性能，代码已发布。

May, 2023

本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将标准 LSTM 的参数减少了 75%，仅仅增加了 0.3% 的误差率。

Apr, 2016

本文探讨了低秩训练技术作为训练大型神经网络的替代方法，介绍了一种名为 ReLoRA 的新方法，并将其应用于多达 350M 参数的预训练 transformer 语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，我们发现 ReLoRA 的效率随着模型大小的增加而增加，这使其成为高效训练多十亿参数网络的有前途的方法。我们的发现揭示了低秩训练技术的潜力及其对缩放定律的影响。

Jul, 2023

使用深度学习模型的参数高效微调方法，通过引入残差路径和合并方法来改进低秩适应方法（LoRA），从而在没有额外可训练参数或推理成本的情况下，在较少的训练步骤中获得更好的结果。

Feb, 2024