Sep, 2023

一种用于端到端学习混合结构压缩的可微分框架

PDF
TL;DR本研究展示了一种可表达滤波器选择、秩选择和预算约束的可微分框架（DF），其中利用 DML-S 进行滤波器选择，将调度集成到现有的掩模学习技术中，并利用 DTL-S 进行秩选择。该框架及其组件通过基于梯度的优化实现端到端学习，实验结果显示 DF 的有效性超过了最先进的结构化压缩方法，为推动结构化压缩技术提供了一个强大而多功能的途径。
发现论文，激发创造
  • 小型印记深度学习的结构变换

    提出了一种基于低位移秩概念的结构化变换方法，能快速优化深度学习模型在储存和功耗受限移动设备上的部署，通过参数共享的各种配置实现结构化到非结构化的统计建模，并在关键词检测应用中显著提高推理速度和轻量化程度，表现优于目前的技术。

    Oct, 2015

  • 组稀疏性：过滤器剪枝和分解网络压缩之间的枢纽

    该论文分析了两种流行的网络压缩技术，在统一的框架下比较了滤波剪枝和低秩分解，同时提出了一种全局的压缩方法并在多个基准测试中表现优异。

    Mar, 2020

  • LoRAP：大型语言模型的 Transformer 子层应采用差异化结构压缩

    本研究提出了一种混合压缩模型 LoRAP，通过输入激活加权奇异值分解方法和基于低秩度差异的参数分配方案，增强了 Transformer 模型中 Multi-Head Self-Attention 子层的低秩特性，并提出了无梯度的结构化通道剪枝方法用于 Feed-Forward Network 子层，实验证明我们的提议在多重压缩比下优于之前的结构化压缩方法。

    Apr, 2024

  • 基于知识驱动差分滤波抽样的卷积神经网络高效剪枝

    通过知识驱动的差分滤波器采样 (KDFS) 和带蒙版滤波器建模 (MFM) 框架进行过滤修剪，在不牺牲准确度的前提下，全局剪除冗余滤波器显著降低计算和内存开销。

    Jul, 2023

  • 低位移秩学习压缩变换

    通过更一般化的位移操作，显式地学习两个位移算子和低秩分量，设计出一种新的 LDR 矩阵，并证明其在多层神经网络的 VC 维度上具有较好的界限，有效地降低模型复杂度。实验结果表明，该设计可以优于现有的压缩方法，并使用的参数数量比一般非结构化网络少 20 倍以上。

    Oct, 2018

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 重新思考压缩：大型语言模型中潜在特征的简化建模

    通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

    Dec, 2023

  • 特征统计指导的高效滤波器剪枝

    本文提出一种新的滤波器剪枝方法，该方法结合了多个特征图选择机制：多样性感知选择和相似性感知选择，能够有效地减小卷积神经网络的参数大小和浮点运算数，同时几乎不会降低其分类准确度。

    May, 2020

  • StructADMM: DNNs 的结构化权重剪枝的系统性、高效性框架

    提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。

    Jul, 2018

  • Maestro: 通过可训练分解揭示低秩结构

    设计高效的低秩模型，通过一种广义的 Ordered Dropout 方法将低秩结构内嵌到训练过程中，实现对深度神经网络进行可训练的低秩层插入，从而提取出足够小的模型，保持模型性能并允许在不同性能设备上进行准确性和延迟的权衡。

    Aug, 2023