提升推理效率：释放参数共享的预训练语言模型的力量

EMNLPOct, 2023

提升推理效率：释放参数共享的预训练语言模型的力量

Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models

Weize Chen, Xiaoyue Xu, Xu Han, Yankai Lin, Ruobing Xie...

TL;DR参数共享的预训练语言模型（PLMs）已成为资源受限环境中成功的方法，在不牺牲性能的情况下显著降低了模型存储和内存成本。本文利用神经常微分方程（ODEs）构建了一种简单的技术，提高了参数共享 PLMs 的推理效率，并提出了一种简单的预训练技术，实现了更大的推理加速。实验结果证明了我们方法在自回归和自编码 PLMs 上的有效性，并对在资源受限环境中更高效地利用参数共享模型提供了新的见解。

Abstract

parameter-shared pre-trained language models (PLMs) have emerged as a successful approach in resource-constrained environments, enabling substantial reductions in model storage and memory costs without significan

parameter-shared pre-trained language models inference efficiency resource-constrained environments neural ordinary differential equations inference acceleration

发现论文，激发创造

CPM-2：大规模经济高效的预训练语言模型

本文提出了有效的技术方法，包括知识继承、提示微调、InFmoE，在处理预训练、微调和推理的效率问题上使用大规模的预训练语言模型，并在实验中验证了方法的有效性。

Jun, 2021

通过动态嵌入修剪对预训练语言模型实现令人烦恼的简单记忆效率

使用预训练语言模型（PLMs）的广泛内存占用可阻碍其在内存受限环境（如云环境或设备上）的部署。本文提出了一种简单而有效的方法来减小嵌入矩阵的内存占用，从而在保持下游任务性能的同时更有效地利用计算资源。

Sep, 2023

使用参数高效迁移学习探索语言模型的越界鲁棒性

本研究系统地探讨了在预训练语言模型（Pre-trained Language Models）规模扩大或转移方法改变时，检测样本分布变化的能力如何随之改变，着重评估了各种 PETL 技术在三个不同意图分类任务上的效果。

Jan, 2023

COST-EFF：细化多出口语言模型在空间和时间效率上的协同优化

提出了一种用于 PLM 的协作优化算法，该算法集成了静态模型压缩和动态推理加速，通过在宽度上将 PLM 变得苗条同时保持深度，同时补充逐层早期退出以动态加速推理。

Oct, 2022

将知识与参数解耦，实现即插即用式语言建模

本文介绍了一种用可编辑、可扩展的键值存储器与不可编辑的模型参数分离的 PlugLM 预训练模型，并在三个不同的场景下进行了评估，证明了该设计选择的合理性。

May, 2023

预训练语言模型压缩和加速综述

该文章调查了预训练语言模型的压缩和加速方法，重点关注了模型在 NLP 领域推理阶段的表现，并提出为 NLP 的整个生命周期（包括数据准备、模型训练和推理）综合考虑计算、时间和碳排放的高效 NLP 研究。

Feb, 2022

元学习差异性：为大型语言模型准备高效迁移

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

通过参数高效架构扩展预训练语言模型的深度

本文提出一种基于 MPO 分解的高度参数化效率的方法，可将预训练语言模型（PLMs）扩展到更深的模型深度，并通过共享主要信息和保留层特定辅助信息的组合，实现模型大小的降低和性能提升。

Mar, 2023

多语言自注意翻译模型的参数共享方法

本论文研究了多语言神经机器翻译中参数共享技术，发现完全参数共享方法能够提高 BLEU 得分，但是对于较为不同的语言，BLEU 得分反而下降。因此，我们提出了针对局部参数共享的方法，能够显著提高翻译精度。

Sep, 2018

多视角压缩表示与低资源微调的鲁棒性研究

本文提出了一种新颖的方法，通过在预训练语言模型的隐藏表示上操作，通过将自编码器插入到 PLM 的隐藏层之间，将以前层的激活转换为多视图压缩表示，然后输入到上层，以减少过拟合。此方法展示了在各种序列和标记级别的低资源 NLP 任务中的性能改进。

Nov, 2022