Sep, 2023

通过动态嵌入修剪对预训练语言模型实现令人烦恼的简单记忆效率

PDF
TL;DR使用预训练语言模型（PLMs）的广泛内存占用可阻碍其在内存受限环境（如云环境或设备上）的部署。本文提出了一种简单而有效的方法来减小嵌入矩阵的内存占用，从而在保持下游任务性能的同时更有效地利用计算资源。
pre-trained language modelsembedding matrixmemory footprintparameter-efficient plm developmentmemory usage
发现论文，激发创造
  • 通过主动遗忘预训练以提高语言可塑性

    本文提出使用主动遗忘机制作为预训练过程中的一种简单方法，以创建能够快速适应新语言的 PLMs。实验证明，与标准模型相比，在资源匮乏的情况下，使用遗忘机制的预先训练模型不仅在语言适应过程中表现出更快的收敛速度，而且在特别是对于与英语不同的语言来说表现更佳。

    Jul, 2023

  • 预训练语言模型的大型产品密钥存储器

    本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。

    Oct, 2020

  • 提升推理效率：释放参数共享的预训练语言模型的力量

    参数共享的预训练语言模型（PLMs）已成为资源受限环境中成功的方法，在不牺牲性能的情况下显著降低了模型存储和内存成本。本文利用神经常微分方程（ODEs）构建了一种简单的技术，提高了参数共享 PLMs 的推理效率，并提出了一种简单的预训练技术，实现了更大的推理加速。实验结果证明了我们方法在自回归和自编码 PLMs 上的有效性，并对在资源受限环境中更高效地利用参数共享模型提供了新的见解。

    Oct, 2023

  • 多视角压缩表示与低资源微调的鲁棒性研究

    本文提出了一种新颖的方法，通过在预训练语言模型的隐藏表示上操作，通过将自编码器插入到 PLM 的隐藏层之间，将以前层的激活转换为多视图压缩表示，然后输入到上层，以减少过拟合。此方法展示了在各种序列和标记级别的低资源 NLP 任务中的性能改进。

    Nov, 2022

  • 将知识与参数解耦，实现即插即用式语言建模

    本文介绍了一种用可编辑、可扩展的键值存储器与不可编辑的模型参数分离的 PlugLM 预训练模型，并在三个不同的场景下进行了评估，证明了该设计选择的合理性。

    May, 2023

  • 大型语言模型的结构裁剪

    该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

    Oct, 2019

  • 面向任务的高效剪枝适配器

    本文介绍了一种任务导向的剪枝适配器方法，可以在保持 GLUE 任务准确度的前提下，大幅提高训练和推理的内存和时间效率。

    Mar, 2023

  • 嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

    本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

    Sep, 2023

  • COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

    提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

    Oct, 2022

  • 基于子空间嵌入的轻量级神经语言模型适应

    我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

    Aug, 2023