Mar, 2024

OSSCAR：一个用于图像和语言模型的单次结构化剪枝方法与组合优化

PDF
TL;DR本文通过结构剪枝方法在大规模视觉和语言模型中降低推理成本，提出了一种基于组合优化的框架，利用层间重构目标和低秩更新的本地组合优化算法，显著改善了先前方法在视觉模型和语言模型上的性能。
structured pruninginference costscombinatorial optimizationlocal searchlanguage models
发现论文，激发创造
  • 仅需一次训练：一种一次性神经网络训练和剪枝框架

    本研究提出一种新的框架，通过 OPO（只训练一次）将 DNN 网络压缩成性能出色、FLOPs 很小的较瘦的架构， OTO 将两个关键因素组合在一起：（1）将 DNN 网络参数分成零不变组，使我们能够修剪零组而不影响输出；（2）为了促进零组，我们进一步制定了一个结构稀疏最优化问题，并提出了一个新的优化算法 ——HSPG（半空间随机投影梯度），用于解决它。

    Jul, 2021

  • 大规模语言模型的优化结构裁剪方法

    基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

    Jun, 2024

  • ALPS：面向大型语言模型的高度稀疏一次性修剪的改进优化

    本文介绍了一种名为 ALPS 的基于优化的框架，用于通过操作拆分技术和预条件共轭梯度后处理步骤处理修剪问题，并结合向量化和 GPU 并行性以提高效率，在修剪目标和困惑度降低方面远远超过现有方法，特别是对于高度稀疏的模型。在 OPT-30B 模型上，其稀疏度为 70％，ALPS 在 WikiText 数据集上实现了 13％的测试困惑度减少和比现有方法提高了 19％的零样本基准性能。

    Jun, 2024

  • 面向任务的语音表示模型的结构化剪枝

    本文提出了一种精细的注意力头修剪方法来解决自监督预训练模型中的模型压缩问题，并介绍了直通估计量到 L0 正则化中以进一步加速修剪模型，超越 Wav2vec2.0 基准模型的表现，且具有 72% 更少的参数和两倍的推理速度。

    Jun, 2023

  • GOHSP：视觉 Transformer 的图结构和基于优化的异构结构剪枝统一框架

    本文提出了 GOHSP，一个统一的基于图形和优化的结构化剪枝框架，用于基于 ViT 模型的计算机视觉任务的参数压缩，达到了优秀的剪枝效果，例如，在 CIFAR-10 数据集上，使用本文的方法可以将 ViT-Small 模型的参数减少 40％，并不会损失准确性，在 ImageNet 数据集上，使用本文的方法，DeiT-Tiny 和 DeiT-Small 模型可以获得比现有的结构化剪枝方法更高的准确性。

    Jan, 2023

  • 高效自动语音识别的精准结构化剪枝

    本论文提出了一种新的压缩策略，利用结构剪枝和知识蒸馏来减小 Conformer 模型的模型大小和推理成本，同时保持高识别性能。该方法优于所有剪枝基线，在 LibriSpeech 基准测试中实现了 50％的模型大小减少和 28％的推理成本减少，同时最小化了性能损失。

    May, 2023

  • 自监督预训练模型结构化剪枝的语音识别与理解

    该研究提出三种任务特定的结构化剪枝方法，以减少自我监督语音表示学习和前端网络的计算成本，同时保持模型准确性并提高计算效率。在实验中，该方法在减少 40% 到 50% 的计算成本的情况下，比原始 wav2vec2-base 模型更准确的表现出更高的计算效率。

    Feb, 2023

  • 通过次模优化实现数据有效的结构化剪枝

    文章提出了一个基于次模优化的可靠、高效的数据压缩方法，能够在模型输出稳定性和极小模型损失之间取得平衡，适用于数据稀缺情形下的神经网络压缩优化。

    Mar, 2022

  • 训练前的单次结构化剪枝

    使用结构化剪枝在训练之前使速度提高 2 倍，在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理，使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。

    Jul, 2020

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022