Nov, 2023

LayerCollapse：神经网络的自适应压缩

PDF
TL;DR利用 LayerCollapse 方法进行适应性模型压缩，通过消除网络中的非线性并将两个连续的全连接层合并为单个线性变换，同时减少层数和参数数量，提高模型效率；引入压缩感知正则化器，根据数据集质量和模型表现压缩模型，减少过拟合；实验证明 LayerCollapse 在多个细粒度分类基准测试中实现有效的压缩和正则化，最高在训练后压缩 74% 但准确度损失最小；与知识蒸馏方法对比，在 ImageNet 数据集上计算效率提高五倍，整体准确度提高 8%。
model compressionlayercollapseadaptive model compressionregularizationdeep learning
发现论文，激发创造
  • LaCo：大型语言模型通过层坍缩进行修剪

    提出了一种被称为 extit {Layer Collapse (LaCo)} 的简洁的逐层修剪方法，将后置模型层折叠到先前层，实现了模型大小的快速减小而同时保留了模型结构；全面的实验表明，该方法在修剪比例为 25-30% 时保持了超过 80% 的平均任务性能，显著优于现有最先进的结构修剪方法；还进行了后训练实验证实所提出的修剪方法有效继承了原始模型的参数，并从逐层相似性的角度讨论了提出该方法的动机，评估了修剪的大型语言模型在各种修剪比例下的性能。

    Feb, 2024

  • LayerMerge: 神经网络深度压缩通过层修剪和合并

    通过共同修剪卷积层和激活函数来提高卷积神经网络的效率，并实现所需的推理加速度，同时尽量减少性能损失。

    Jun, 2024

  • 神经网络压缩：寻求最佳分层分解方法

    本文提出了一种新颖的全局压缩深度神经网络框架，通过使用低秩分解的方法在达到所需的整体压缩率的同时，对每层进行全面分析确定最佳的每层压缩比率，并利用等奇特展开定理和最优化算法来得到我们的解决方案。我们的实验表明，我们的方法在各种网络和数据集上优于现有的低秩压缩方法。

    Jul, 2021

  • 深度网络压缩感知训练

    本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

    Nov, 2017

  • 压缩中等规模深度神经网络的高效灵活方法

    我们提出了一种凝结缩减算法，验证了这一想法在实际问题中的可行性，可以将神经网络的规模减小，并在保持预测准确性的同时减少计算压力和提高推理速度。

    May, 2024

  • 对抗性网络压缩

    本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

    Mar, 2018

  • 模块化 Transformer：将 Transformer 压缩为模块化层以进行灵活高效的推理

    本文提出了 Modular Transformers 框架，用于灵活的序列到序列模型压缩，通过模块化编码器 - 解码器并进行知识蒸馏，可以实现灵活的压缩比率从 1.1x 到 6x，并且在保持相对性能不变的情况下，可以根据需要灵活组装模块化层。

    Jun, 2023

  • 深度模型压缩：从带噪声的教师中提取知识

    本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师 - 学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

    Oct, 2016

  • 通过协作压缩实现紧凑的 CNN

    本文提出了一种协同压缩方案，将通道剪枝和张量分解结合起来，通过同时学习模型的稀疏性和低秩性来压缩 CNN 模型。该方法在各个数据集和骨干架构上展示了优越的性能提升，例如在 ImageNet 2012 上，我们通过删除 48.4％的参数从 ResNet-50 模型中达到 52.9％的 FLOPs 减少，仅有 0.56％的 Top-1 准确度降低。

    May, 2021

  • ExpandNets：利用线性过参数化训练紧凑卷积网络

    本文介绍了一种利用过参数化的方法来训练紧凑型神经网络的方法，通过将紧凑型神经网络的线性层扩展成多个连续的线性层，而不添加非线性化，形成扩展网络 ExpandNet，可在推理时代数地缩小回紧凑型神经网络。我们提出了两种卷积扩展策略，并在图像分类、目标检测和语义分割等任务上展示了他们的优势，证明了我们的方法优于从头开始训练紧凑型网络和从教师进行知识蒸馏。此外，我们通过实验证明了过参数化可减少训练时的梯度混淆，提高网络的泛化能力。

    Nov, 2018