Jul, 2024

FoldGPT：简单高效的大型语言模型压缩方案

PDF
TL;DR通过对不同层次的大语言模型进行研究，本文发现多数层次的输出存在显著的相似性，并且随着模型规模的增加，这种相似性更加明显。基于这种观察，我们提出了一种高效的模型体积压缩策略，称为 FoldGPT，该策略通过块删除和块参数共享来实现模型轻量化。实验证明，FoldGPT 在高效模型压缩方面优于先前的最新方法，证明通过简单的块删除和参数共享实现模型轻量化是可行的。
large language modelsmodel volume compressionblock removalblock parameter sharingmodel lightweighting
发现论文，激发创造
  • ShortGPT: 大型语言模型中的层次关系比您预期的更冗余

    大型语言模型的层之间存在高相似性，某些层对网络功能没有显著作用，因此提出了一种基于层重要性评分的剪枝方法，并且该方法在模型剪枝方面明显优于先前的最新方法，同时与量化等方法相互独立，能进一步减小参数和计算量。

    Mar, 2024

  • SliceGPT：通过删除行和列来压缩大型语言模型

    SliceGPT 是一种新的后训练稀疏化方法，可以将模型的参数减少 25％，同时保持密集模型的 99％，99％和 90％的性能，并减少内存和计算需求。

    Jan, 2024

  • TensorGPT: 基于张量列车分解的 LLMs 嵌入层高效压缩

    本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

    Jul, 2023

  • GroupReduce: 块状低秩逼近神经语言模型压缩

    本文提出了一种新的神经语言模型压缩方法，基于基于词汇划分的低秩矩阵逼近和词汇分布的幂律分布，相比传统压缩方法更优，在 OBW 数据集上实现了 6.6 倍的压缩率，采用量化可以实现 26 倍的压缩率，而且模型困惑度几乎没有降低。

    Jun, 2018

  • SparseGPT：一次修剪即可在大型语言模型上进行精准压缩

    本文提出了一种名为 SparseGPT 的新型剪枝方法，能够高效、准确地应用于海量的 GPT 模型，实现一次性稀疏化至少 50％，并在几乎不影响困惑度的情况下，将最大可用的开源模型 OPT-175B 和 BLOOM-176B 稀疏化至 60％。

    Jan, 2023

  • Mini-GPTs: 基于上下文剪枝的高效大型语言模型

    利用上下文剪枝技术开发 Mini-GPT 来优化大型语言模型（LLMs），通过对传统 LLMs 的计算架构进行剪枝，保留核心功能同时大幅减小模型大小，此方法在多样且复杂的数据集上展现了高效性和有效性，作为构建领域特定 LLMs 的潜力方法，是未来发展的基石。

    Dec, 2023

  • PassGPT: 基于大语言模型的密码建模和（指导性）生成

    本篇论文研究了大型语言模型在密码建模中的效力，介绍了一种名为 PassGPT 的大型语言模型，并在密码生成中表现出众，比起之前基于生成对抗网络的方法，猜对了两倍数量的新密码，同时，文章提出了引导密码生成的概念，利用 PassGPT 采样过程生成符合任意约束的密码。最后，文章对 PassGPT 定义密码的熵和概率分布进行了深入分析，并讨论其在增强现有密码强度评估器方面的应用。

    Jun, 2023

  • 朝着更小、更快的只解码 Transformer：架构变体及其影响

    本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸较小和训练时间更快的优势。

    Apr, 2024

  • 重新思考压缩：大型语言模型中潜在特征的简化建模

    通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

    Dec, 2023

  • 基于梯度自由的自适应全局修剪预训练语言模型

    通过重新定义全局修剪过程为可管理的、协调的子问题，并利用辅助变量进行问题分解，AdaGP 框架在 LLMs 上展示了重要的性能提升，特别是在高稀疏度范围内超越了当前最先进的方法。

    Feb, 2024