EMNLPApr, 2018

序列标注的语言模型剪枝：高效的上下文表示

PDF
TL;DR本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。
pre-trained language modelslmsnatural language processing taskslayer selection methodmodel training
发现论文，激发创造
  • 优化大型语言模型的压缩方法

    基于层序之差异，我们提出了 LLM-Streamline 方法，该方法通过对模型中不重要的层进行剪枝和轻量级模型的替代训练，以减轻剪枝所引起的性能下降，并在综合实验中展示了其优于现有模型剪枝方法的效果。

    Mar, 2024

  • 大型语言模型的结构裁剪

    该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

    Oct, 2019

  • 大型语言模型修剪

    本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。

    May, 2024

  • LaCo：大型语言模型通过层坍缩进行修剪

    提出了一种被称为 extit {Layer Collapse (LaCo)} 的简洁的逐层修剪方法，将后置模型层折叠到先前层，实现了模型大小的快速减小而同时保留了模型结构；全面的实验表明，该方法在修剪比例为 25-30% 时保持了超过 80% 的平均任务性能，显著优于现有最先进的结构修剪方法；还进行了后训练实验证实所提出的修剪方法有效继承了原始模型的参数，并从逐层相似性的角度讨论了提出该方法的动机，评估了修剪的大型语言模型在各种修剪比例下的性能。

    Feb, 2024

  • Mini-GPTs: 基于上下文剪枝的高效大型语言模型

    利用上下文剪枝技术开发 Mini-GPT 来优化大型语言模型（LLMs），通过对传统 LLMs 的计算架构进行剪枝，保留核心功能同时大幅减小模型大小，此方法在多样且复杂的数据集上展现了高效性和有效性，作为构建领域特定 LLMs 的潜力方法，是未来发展的基石。

    Dec, 2023

  • 语言模型解构：通过选择性修剪实现机器遗忘

    该研究论文介绍了一种专为大型语言模型（LLMs）设计的机器遗忘方法。通过选择性修剪 LLMs 的方法，根据其相对于整体网络性能对目标能力的重要性，移除能够实现特定行为的神经元。研究发现在 LLMs 中，前馈神经元和注意神经元都是专门用于特定任务的，某些神经元比其他神经元更为重要。

    Mar, 2024

  • 大规模语言模型的高效剪枝与自适应推理融合

    用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

    Mar, 2024

  • 大规模语言模型的结构剪枝 ——LLM-Pruner

    提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 使用原则重要性和自我正则化剪枝预训练语言模型

    本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。

    May, 2023

  • 面向高效和可解释的自回归转换器的动态上下文剪枝

    本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80% 的上下文信息，同时大幅提升推理吞吐量和节约存储空间。

    May, 2023