ACLJun, 2021

基于矩阵积算子的预训练语言模型压缩的轻量级微调

PDF
TL;DR提出了一种基于量子多体物理中的矩阵积算符（简称 MPO）的新型预训练语言模型压缩方法，其可以将原始的矩阵分解成中心张量和辅助张量，通过仅更新辅助张量的参数进行微调并为 MPO 结构设计优化算法，可应用于原始或压缩的语言模型以实现更轻量级的网络和显著减少微调参数。
pre-trained language model compressionmatrix product operatorfine-tuning strategyoptimization algorithmmodel compression
发现论文，激发创造
  • 通过参数高效架构扩展预训练语言模型的深度

    本文提出一种基于 MPO 分解的高度参数化效率的方法，可将预训练语言模型（PLMs）扩展到更深的模型深度，并通过共享主要信息和保留层特定辅助信息的组合，实现模型大小的降低和性能提升。

    Mar, 2023

  • 利用矩阵乘积算子的语音增强模型压缩方法

    该论文提出了一种基于 MPO 的模型压缩方法，在神经网络模型的线性变换中将权重矩阵替换为 MPO 分解格式。实验结果表明，该方法在各种压缩率下均优于常用的修剪方法，特别适用于云端应用中的语音增强。

    Oct, 2020

  • 通过矩阵乘积运算符对深度神经网络进行压缩

    本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

    Apr, 2019

  • 语言模型压缩的低秩剪枝和分解

    利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

    Jun, 2023

  • 预训练语言模型的参数高效专家混合架构

    本文提出了一种参数高效的混合专家架构，通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，从而通过矩阵乘积算子来实现受量子多体物理学影响的张量分解，以解决混合专家架构中存在的参数膨胀问题，实验结果表明新方法具有更好的性能和效率。

    Mar, 2022

  • 多视角压缩表示与低资源微调的鲁棒性研究

    本文提出了一种新颖的方法，通过在预训练语言模型的隐藏表示上操作，通过将自编码器插入到 PLM 的隐藏层之间，将以前层的激活转换为多视图压缩表示，然后输入到上层，以减少过拟合。此方法展示了在各种序列和标记级别的低资源 NLP 任务中的性能改进。

    Nov, 2022

  • 用于高效语言模型微调的 NTK - 逼近 MLP 融合

    通过使用神经切向核（NTK）逼近多层感知器模块（MLP）的预训练语言模型（PLM），提出了一种轻量级 PLM 压缩方法，通过重新考虑 MLP 作为子 MLP 集合并将其聚类为给定数量的重心，进而恢复为压缩的 MLP，惊人地显示出良好逼近原始 PLM 的 NTK。

    Jul, 2023

  • COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

    提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

    Oct, 2022

  • 将机器学习与量子张量网络相结合

    本文研究了张量网络在语言建模中的应用，通过对模拟 Motzkin 自旋链的问题进行抽象，发现张量模型具有接近完美的分类能力，并在训练样本减少时保持稳定的性能水平。

    Jan, 2024

  • SPP：稀疏保存的参数高效微调大型语言模型

    介绍了一种基于稀疏保持参数高效微调的方法，通过轻量级可学习的列和行矩阵对稀疏大语言模型的权重进行优化，保持修剪过的预训练模型的结构和稀疏性，显著提升了稀疏大语言模型的性能。

    May, 2024