Mar, 2023

通过参数高效架构扩展预训练语言模型的深度

PDF
TL;DR本文提出一种基于 MPO 分解的高度参数化效率的方法，可将预训练语言模型（PLMs）扩展到更深的模型深度，并通过共享主要信息和保留层特定辅助信息的组合，实现模型大小的降低和性能提升。
pre-trained language modelsmpo decompositionparameter-efficientmodel depthmodel training
发现论文，激发创造
  • 基于矩阵积算子的预训练语言模型压缩的轻量级微调

    提出了一种基于量子多体物理中的矩阵积算符（简称 MPO）的新型预训练语言模型压缩方法，其可以将原始的矩阵分解成中心张量和辅助张量，通过仅更新辅助张量的参数进行微调并为 MPO 结构设计优化算法，可应用于原始或压缩的语言模型以实现更轻量级的网络和显著减少微调参数。

    Jun, 2021

  • 预训练语言模型的参数高效专家混合架构

    本文提出了一种参数高效的混合专家架构，通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，从而通过矩阵乘积算子来实现受量子多体物理学影响的张量分解，以解决混合专家架构中存在的参数膨胀问题，实验结果表明新方法具有更好的性能和效率。

    Mar, 2022

  • 利用矩阵乘积算子的语音增强模型压缩方法

    该论文提出了一种基于 MPO 的模型压缩方法，在神经网络模型的线性变换中将权重矩阵替换为 MPO 分解格式。实验结果表明，该方法在各种压缩率下均优于常用的修剪方法，特别适用于云端应用中的语音增强。

    Oct, 2020

  • 通过矩阵乘积运算符对深度神经网络进行压缩

    本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

    Apr, 2019

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 提升推理效率：释放参数共享的预训练语言模型的力量

    参数共享的预训练语言模型（PLMs）已成为资源受限环境中成功的方法，在不牺牲性能的情况下显著降低了模型存储和内存成本。本文利用神经常微分方程（ODEs）构建了一种简单的技术，提高了参数共享 PLMs 的推理效率，并提出了一种简单的预训练技术，实现了更大的推理加速。实验结果证明了我们方法在自回归和自编码 PLMs 上的有效性，并对在资源受限环境中更高效地利用参数共享模型提供了新的见解。

    Oct, 2023

  • COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

    提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

    Oct, 2022

  • 探索预训练语言模型的极端参数压缩

    探索利用张量分解实现更大的压缩比率来压缩 BERT 模型的研究，取得了可接受的性能损失并显著提高了推理效率，最高压缩至原模型的 1/48，且在 GLUE 基准测试中取得了与原模型相当或略优的表现，该方法相对于蒸馏等现有的压缩方法独立有效。

    May, 2022

  • 使用参数高效迁移学习探索语言模型的越界鲁棒性

    本研究系统地探讨了在预训练语言模型（Pre-trained Language Models）规模扩大或转移方法改变时，检测样本分布变化的能力如何随之改变，着重评估了各种 PETL 技术在三个不同意图分类任务上的效果。

    Jan, 2023

  • 多视角压缩表示与低资源微调的鲁棒性研究

    本文提出了一种新颖的方法，通过在预训练语言模型的隐藏表示上操作，通过将自编码器插入到 PLM 的隐藏层之间，将以前层的激活转换为多视图压缩表示，然后输入到上层，以减少过拟合。此方法展示了在各种序列和标记级别的低资源 NLP 任务中的性能改进。

    Nov, 2022