Oct, 2020

利用矩阵乘积算子的语音增强模型压缩方法

PDF
TL;DR该论文提出了一种基于 MPO 的模型压缩方法，在神经网络模型的线性变换中将权重矩阵替换为 MPO 分解格式。实验结果表明，该方法在各种压缩率下均优于常用的修剪方法，特别适用于云端应用中的语音增强。
deep neural networkmodel compressionspeech enhancementmatrix product operatorscausal neural network
发现论文，激发创造
  • 通过矩阵乘积运算符对深度神经网络进行压缩

    本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

    Apr, 2019

  • 基于矩阵积算子的预训练语言模型压缩的轻量级微调

    提出了一种基于量子多体物理中的矩阵积算符（简称 MPO）的新型预训练语言模型压缩方法，其可以将原始的矩阵分解成中心张量和辅助张量，通过仅更新辅助张量的参数进行微调并为 MPO 结构设计优化算法，可应用于原始或压缩的语言模型以实现更轻量级的网络和显著减少微调参数。

    Jun, 2021

  • 通过参数高效架构扩展预训练语言模型的深度

    本文提出一种基于 MPO 分解的高度参数化效率的方法，可将预训练语言模型（PLMs）扩展到更深的模型深度，并通过共享主要信息和保留层特定辅助信息的组合，实现模型大小的降低和性能提升。

    Mar, 2023

  • 预训练语言模型的参数高效专家混合架构

    本文提出了一种参数高效的混合专家架构，通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，从而通过矩阵乘积算子来实现受量子多体物理学影响的张量分解，以解决混合专家架构中存在的参数膨胀问题，实验结果表明新方法具有更好的性能和效率。

    Mar, 2022

  • LoRAP：大型语言模型的 Transformer 子层应采用差异化结构压缩

    本研究提出了一种混合压缩模型 LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了 Transformer 模型中 Multi-Head Self-Attention 子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于 Feed-Forward Network 子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。

    Apr, 2024

  • 基于压缩的循环神经网络用于高效语言建模

    本文考虑了针对循环神经网络的多种压缩技术，特别关注大词汇量带来的高维输出问题，探讨剪枝、量化和矩阵分解在语言模型中的有效压缩方法，以及大小、适用性和困惑度的取舍，最终提出一种压缩循环神经网络的通用流程，并使用 Penn Treebank 数据集展示了矩阵分解技术在速度和压缩 - 困惑度平衡方面的最佳结果。

    Feb, 2019

  • 模型压缩的结构化多哈希技术

    本文介绍了一种基于哈希和降维的结构化多哈希方法，可用于控制任何深度网络的模型大小，从而大幅减少可学习变量且依旧保持较高的精度。作者在 ResNet，EfficientNet 和 MobileNet 等结构中进行了压缩，并且在 CIFAR10 数据集上仅损失 10％而使 ResNet32 模型减少了 75％。

    Nov, 2019

  • 通过剪枝压缩神经机器翻译模型

    本文探讨了三种基于大小的剪枝模式对 NMT 模型进行压缩，通过实验证明了剪枝技术是一种有效的压缩技术，并且可以通过再训练来恢复或甚至超越原始性能。

    Jun, 2016

  • 重新思考压缩：大型语言模型中潜在特征的简化建模

    通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

    Dec, 2023

  • GroupReduce: 块状低秩逼近神经语言模型压缩

    本文提出了一种新的神经语言模型压缩方法，基于基于词汇划分的低秩矩阵逼近和词汇分布的幂律分布，相比传统压缩方法更优，在 OBW 数据集上实现了 6.6 倍的压缩率，采用量化可以实现 26 倍的压缩率，而且模型困惑度几乎没有降低。

    Jun, 2018