ICMLMay, 2024

COPAL：大型语言生成模型的持续剪枝

PDF
TL;DR本文提出了 COPAL 算法（COntinual Pruning in Adaptive Language settings）用于在持续的模型适应环境中对大型语言生成模型进行修剪，通过敏感性分析引导修剪过程，从而提高模型适应新领域的能力并增强资源效率。实证评估表明，COPAL 在效率和适应性方面优于基准模型。
pre-trained large language modelscontinual adaptationpruningsensitivity analysismodel adaptation
发现论文，激发创造
  • 基于梯度自由的自适应全局修剪预训练语言模型

    通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。

    Feb, 2024

  • CALM: 连续适应学习的语言建模

    该研究论文提出了 CALM 技术，通过对大型语言表示模型进行连续自适应学习，使其跨领域保留知识，并在生物医学和临床领域的实验中展示了任务特定模型与 CALM 模型性能差距的减小。

    Apr, 2020

  • 从密集到稀疏：对比剪枝用于更好的预训练语言模型压缩

    我们提出了一种名为 ContrAstive Pruning（CAP）的模型压缩框架，它保留了先前模型的任务不可知知识和任务特定知识，并证明了该方法在极高稀疏度情况下均能显著提高模型性能。

    Dec, 2021

  • 语言模型的持续学习

    本研究提出了一种新的方法，使用一系列未标记的领域语料库来连续培训语言模型，从而改善它们的最终任务绩效。该方法的关键创新点是一种软掩蔽机制，它直接控制语言模型的更新，同时提供了一个新的代理来保留原始 LM 中的通用知识。实证评估证明了所提方法的有效性。

    Feb, 2023

  • 关键学习时期：利用早期训练动态进行高效数据修剪

    我们提出了一种新的数据修剪技术：Checkpoints Across Time (CAT)，通过利用早期模型训练动态来识别对模型性能最相关的数据点，实现了在减少 50% 的训练数据的同时，与使用完整数据集的性能相当，且优于其他数据修剪技术。

    May, 2024

  • ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化

    本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B 模型上，其稀疏度为 70％，ALPS 在 WikiText 数据集上实现了 13％的测试困惑度减少和比现有方法提高了 19％的零样本基准性能。

    Jun, 2024

  • 学它或者离开：模块组合与修剪的连续学习

    MoCL-P 是一种轻量级的持续学习方法，通过任务表示引导模块组合和自适应修剪，同时解决避免灾难性遗忘、促进知识转移和保持参数效率等持续学习中的挑战，且在三个持续学习基准测试中达到了最优性能，提高了参数效率，展示了在资源受限的实际应用中的潜力。

    Jun, 2024

  • 神经修剪的连续学习

    本篇研究提出了一种名为 CLNP 的方法，通过神经模型稀疏化实现模型固定容量下的全生命周期学习，在这种方法中，使用经过稀疏化网络中的非活动神经元和滤波器来训练后续任务，并对以前任务的性能不会造成任何恶化，此外，CLNP 还提供了简单的学习诊断工具。实验证明，与当前基于权重弹性的方法相比，CLNP 能够显著提高结果。

    Mar, 2019

  • 面向鲁棒剪枝：一种自适应知识保留剪枝策略

    本文提出了一种基于事先训练的知识的后期剪枝策略，旨在在剪枝过程中保留更多事先训练的知识，从而提高语言模型的鲁棒性。与其他最先进的基准方法相比，在数据集 SST2、IMDB 和 AGNews 上，我们的方法在准确性、稀疏性、鲁棒性和剪枝成本之间展现出了卓越的平衡，这是对语言模型鲁棒剪枝的一大进步。

    Oct, 2023

  • 大型语言模型中的连续预训练探索：洞见与影响

    这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知识转移和模型大小的若干关键见解。

    Feb, 2024