预训练变换器的矩阵分解方法的实证研究

Jun, 2024

预训练变换器的矩阵分解方法的实证研究

An Empirical Investigation of Matrix Factorization Methods for Pre-trained Transformers

Ashim Gupta, Sina Mahdipour Saravani, P. Sadayappan, Vivek Srikumar

TL;DR通过比较传统的低秩分解与最近引入的 Monarch 分解，我们在 Transformer 压缩技术方面提出了一个全面的分析，发现低秩分解在不同压缩比和六个文本分类任务中始终优于 Monarch 分解。

Abstract

The increasing size of transformer-based models in NLP makes the question of compressing them important. In this work, we present a comprehensive analysis of factorization based model compression techniques. Spec

transformer-based models model compression techniques low-rank factorization monarch factorization compression ratios

发现论文，激发创造

重新审视脱机压缩：超越基于分解的方法，针对 Transformer 语言模型

本篇文章旨在探讨离线压缩方法，并提出了一种基于自编码器的新框架，旨在压缩 transformer 语言模型。实验证明，启用模块间的协作并使用所提出的方法能够显著提高模型性能。

Feb, 2023

利用矩阵分解对循环神经网络进行压缩

基于训练后的秩选择方法 Rank-Tuning，结合训练适应性，我们的方法能够实现高压缩率而无性能损失或性能损失较小，数值实验结果表明，我们可以将循环神经网络压缩至最多 14 倍，最多相对性能降低 1.4%。

Oct, 2023

基于低秩矩阵分解的文本分类在线嵌入压缩

本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

自然语言处理应用的排名和运行时感知压缩

本文提出一种称为混合矩阵分解 (Hybrid Matrix Factorization) 的压缩技术，将低秩矩阵分解技术（LMF）的矩阵秩翻倍，采用智能混合结构，提高了准确性，并且在保持密集矩阵的同时，速度优于剪枝或结构矩阵压缩技术。在 5 个 NLP 基准测试中评估了此技术对多个任务（翻译，意图检测，语言建模）的影响，并表明，在类似准确性值和压缩因子的情况下，HMF 比剪枝快 2.32 倍以上，比 LMF 的准确性高 16.77%。

Oct, 2020

语言模型压缩的低秩剪枝和分解

利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

Jun, 2023

低秩矩阵分解在 LSTM 模型压缩中的有效性研究

本文提出了一种将低秩矩阵分解算法应用于 LSTM 网络不同递归操作的方法，探讨了在不同自然语言处理任务和模型组成部分中的有效性，并发现加性递归比乘性递归更重要。两种设置下我们进行了比较：1）压缩语言模型中核心 LSTM 递归，2）压缩在三个下游自然语言处理任务中评估 ELMo 的 biLSTM 层。

Aug, 2019

基于特征的大型语言模型通过贝叶斯优化的低秩压缩

近年来，大型语言模型（LLMs）在自然语言处理方面取得了重要进展，但其规模的增大增加了计算负担，需要在效率和性能之间取得平衡。为了解决 LLMs 中低秩压缩的挑战，我们对大模型的低秩特性进行了实证研究，并提出了一种适用于 LLMs 的低秩压缩方法，该方法通过汇总协方差矩阵的特征分布精确估计和贝叶斯优化策略来分配低秩维度。我们在 LLaMA-2 模型上的实验表明，我们的方法在相同的压缩比下比现有的强结构剪枝和低秩压缩技术表现更佳，能够保持模型的性能。

May, 2024

通过随机低秩和低精度因式分解实现矩阵压缩

我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。

Oct, 2023

DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

DSFormer 是一种新型的低秩矩阵分解和半结构稀疏矩阵乘积方法，针对大型 Transformer 模型的成本效益问题提供了更强的效率 - 准确度平衡，并在自然语言理解任务中实现了比现有方法更高的压缩率和任务准确度。

Dec, 2023

压缩因式分解：快速而准确地低秩分解压缩感知数据

本文考虑在通过随机投影压缩的数据上准确高效地计算低秩矩阵或张量分解的问题。我们研究了在压缩域内执行分解并从恢复 (压缩) 因子中重构原始高维因子的方法，在矩阵和张量设置中，我们建立了这种自然方法能够证明恢复原始因子的条件。我们对合成数据进行了实验，证实了压缩因式分解在真实世界的基因表达和脑电时间序列数据集中的实际适用性，并支持这些理论结果。

Jun, 2017