DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

Dec, 2023

DSFormer: 通过密集稀疏权重分解实现文本 Transformer 的有效压缩

DSFormer: Effective Compression of Text-Transformers by Dense-Sparse Weight Factorization

Rahul Chand, Yashoteja Prabhu, Pratyush Kumar

TL;DRDSFormer 是一种新型的低秩矩阵分解和半结构稀疏矩阵乘积方法，针对大型 Transformer 模型的成本效益问题提供了更强的效率 - 准确度平衡，并在自然语言理解任务中实现了比现有方法更高的压缩率和任务准确度。

Abstract

With the tremendous success of large transformer models in natural language understanding, down-sizing them for cost-effective deployments has become critical. Recent studies have explored the low-rank weight factorizat

transformer models low-rank weight factorization dsformer semi-structured sparsity knowledge distillation

发现论文，激发创造

DenseFormer: 通过深度加权平均增强 Transformer 中的信息流传

提出了 DenseFormer 这种简单修改的转换器架构，通过在每个转换器模块之后添加一个平均步骤来改进模型的困惑度，减少了内存消耗和推理时间，并且在相同困惑度下表现优于转换器基线模型。

Feb, 2024

加权低秩分解语言模型压缩

提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

Jun, 2022

预训练变换器的矩阵分解方法的实证研究

通过比较传统的低秩分解与最近引入的 Monarch 分解，我们在 Transformer 压缩技术方面提出了一个全面的分析，发现低秩分解在不同压缩比和六个文本分类任务中始终优于 Monarch 分解。

Jun, 2024

可扩展的 Transformer 用于 PDE 替代模型

本文提出了一种基于轴向分解核积分的可学习投影运算符的因式化变压器模型 Factorized Transformer，该模型使用一维域将输入函数分解为多个子函数，用于计算基于实例的内核。我们演示了该模型在 256 x 256 网格上模拟 2D Kolmogorov 流和在 64 x 64 x 64 网格上模拟 3D 烟雾浮力的精度和效率良好。此外，我们发现使用因式化方案时，注意力矩阵的频谱比全 softmax-free 注意力矩阵更紧凑。

May, 2023

基于低秩矩阵分解的文本分类在线嵌入压缩

本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

Nov, 2018

使用低比特 NxM 稀疏压缩预训练 Transformers 以增强自然语言理解

本文提出了新的框架 NxMiFormer，同时使用 ADMM 和 STE-based QAT 进行稀疏化和量化，通过搜索算法找到最优的异构压缩配置，使预处理 Transformer 网络在 NLU 测试中达到 93% 的压缩率并保持 98% 以上的准确性。

Jun, 2022

PartialFormer：建模部分而非整体

本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 PartialFormer 深度扩展的注意力计算方法，对 9 个翻译任务和 1 个抽象摘要任务的大量实验验证了 PartialFormer 方法的有效性。

Oct, 2023

重新审视脱机压缩：超越基于分解的方法，针对 Transformer 语言模型

本篇文章旨在探讨离线压缩方法，并提出了一种基于自编码器的新框架，旨在压缩 transformer 语言模型。实验证明，启用模块间的协作并使用所提出的方法能够显著提高模型性能。

Feb, 2023

Speechformer：减少直接语音翻译中的信息损失

提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。

Sep, 2021

DiffsFormer：基于股票因子增强的扩散变换器

利用人工智能生成样本（AIGS）增强训练过程，提出了一种新颖的方法，利用 Diffusion Model 生成具有 Transformer 架构的股票因子（DiffsFormer）。通过编辑现有样本来控制生成数据与目标领域的差异程度，以缓解数据稀缺问题，并通过在 CSI300 和 CSI800 数据集上的实验证明了该方法在股票预测任务中的有效性。

Feb, 2024