Feb, 2024

少即通用：一种面向大型语言模型的通用且简单的非参数剪枝算法

PDF
TL;DR基于核密度估计 (KDE) 的 KEN 是一种简单、通用且非结构化的修剪算法，旨在通过有选择性地保留最重要的参数并恢复其他参数到其预训练状态来构建优化的 Transformer 模型，这种方法在保持模型性能的同时只存储优化的子网络，从而实现显著的内存节省。在七个 Transformer 模型上的广泛评估表明，KEN 在最低参数减少 25% 的情况下实现了与原始模型相等或更好的性能。与其他修剪和 PEFT 算法的深入比较证实了 KEN 的有效性。此外，我们还介绍了 KEN_viz，这是一种可解释的工具，可以可视化 KEN 选择的优化模型构成和子网络。
neural network pruningkenkernel density estimationtransformer modelsmemory savings
发现论文，激发创造
  • 无需重新训练的预训练语言模型知识保留剪枝

    提出了一种名为 K-pruning (Knowledge-preserving pruning) 的准确的无需重新训练的结构化修剪算法，用于预训练的语言模型压缩，并在 SQuAD 基准测试中展示了比现有的无需重新训练的修剪算法高达 58.02% p 的 F1 分数的优势。

    Aug, 2023

  • 基于 LLM 的边缘计算设备上的时间序列数据分析知识修剪

    在本文中，我们提出了知识修剪（Knowledge Pruning，KP）这一新的范式用于时间序列学习，通过对冗余知识进行修剪和提炼，我们有效地学习到了相关知识，并在资源受限的环境中取得了令人满意的性能。

    Jun, 2024

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • PENNI: 高效 CNN 推断的裁剪核共享

    提出了一种基于核分解的 CNN 模型压缩框架 PENNI，通过内核共享和稀疏约束，可以同时实现模型简洁和硬件效率，实验结果显示在不影响精度的情况下，可以裁剪 97% 的参数和 92% 的 FLOPs，减少 44% 的内存和 53% 的推理延迟。

    May, 2020

  • UnKE: 大型语言模型中的非结构化知识编辑

    提出了一种名为 UnKE 的新型非结构化知识编辑方法，通过在层次和标记维度进行扩展，实现了对复杂和全面的非结构化知识的有效表示和编辑，取得了显著的性能提升。

    May, 2024

  • 基于集合知识引导的子网络搜索和微调用于滤波器剪枝

    本文提出一种基于集成知识引导的删减算法 (EKG)，通过评估不同子网络的损失波动情况搜索最佳的子网络并实现后续的剪枝及微调，仅需 315 GPU 小时即可在不降低性能的情况下移除约 45.04% 的 FLOPS。

    Mar, 2022

  • 关系领域知识增强的神经网络

    本研究介绍了一种名为 KENN 的神经符号一体化框架，其将先前的逻辑知识注入神经网络。通过增加一个残差层来修改初始预测，这种方法的优点之一是包含条款权重，这些可学习参数表示条款的强度和影响。本研究的扩展版本更适用于关系数据，并在实验中验证了其有效性和可扩展性。

    May, 2022

  • NutePrune: 高效、逐步精简大型语言模型的多个教师

    大规模语言模型在资源受限的硬件上部署具有挑战性，本研究提出了一种高效的结构剪枝算法 NutePrune，通过逐步引导剪枝模型的方法，在保持整体性能的同时，减小了内存开销和提高了推理速度。

    Feb, 2024

  • KENN：利用知识增强深度神经网络进行时间序列预测

    本文提出了一种新颖的知识融合架构，Knowledge Enhanced Neural Network (KENN)，用于时间序列预测，旨在将知识和数据领域的优势相结合，减少整体框架对数据的依赖性，提高性能并将其与现有方法进行比较。

    Feb, 2022

  • 神经修剪：一种用于大型语言模型的基于神经网络的拓扑稀疏训练算法

    基于 Transformers 的语言模型在自然语言处理中表现出色，但训练和推理仍然是一个重要的障碍。我们通过神经网络的角度来探索稀疏性方法，利用生物网络中的机制，如优先连接和冗余突触修剪，展示了基于模型的稀疏性方法在多样的 NLP 任务中表现出色，并且在训练时间上可快速到 10 倍，同时在许多情况下推理时间也有明显的改善。

    Feb, 2024