通过矩阵分解的视觉 Transformer 剪枝
我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法,该方法考虑了神经网络参数的不平等重要性,并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明,相较于传统的 SVD 方法,在压缩 Transformer 的语言模型时,我们的方法可以获得更好的效果。
Nov, 2022
利用网络剪枝与矩阵分解相结合的方式,提出了一种有效的预训练语言模型的模型压缩方法,通过新的初始化技术和训练过程优化技巧,能够在保持性能的同时实现更加高效的模型压缩。
Jun, 2023
提出了一种基于 Fisher 信息的 SVD 压缩方法(FWSVD),它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题,该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。
Jun, 2022
该论文提出了一种名为 UP-ViTs 的统一结构修剪框架,可在保持模型一致性的同时,压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明,UP-ViTs 在 Object Detection 等任务中取得了不俗的性能,并在 ImageNet 上超越了传统的 ViTs 模型。
Nov, 2021
该研究论文介绍了一个基于奇异值分解的方法,用于在领域中保留基础转换结构的表示,从而提供伪计数的估计,在多任务中展示了结果,并解决了部分可观测的环境下的难以探索的任务。
May, 2023
本研究通过评估四种主要的模型压缩技术:量化、低秩近似、知识蒸馏和剪枝,解决了视觉 Transformer 在计算和内存需求方面的问题,并全面实验评估了这些技术及其组合在资源受限环境中优化 ViTs 的功效,证明了这些方法在模型精度和计算效率之间取得了平衡,为边缘计算设备的广泛应用铺平了道路。
Apr, 2024
本文介绍了一种名为 ViT-Slim 的视觉转换器压缩框架,基于可学习和统一的 l1 稀疏性约束搜索多个维度的子结构,通过预算阈值得到压缩后的模型,试验结果表明,ViT-Slim 可以在保持较高图像分类准确率的同时,将参数和 FLOP 压缩至 40%。
Jan, 2022
本研究提出了一种基于数据无关的模块感知剪枝方法(DIMAP),用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献,并且引入一种基于权重的新型度量,在不依赖于输入图像的情况下消除了对图块合并过程的依赖性。该方法在 ImageNet-1k 分类上以及不同尺寸的 Swin Transformers 上验证了其有效性和优势,在去除了 Swin-B 52.5%的 FLOPs 和 52.7%的参数时,仅降低了 0.07%的 Top-5 准确率;而在减少 Swin-S 33.2%的 FLOPs 和 33.2%的参数时,甚至可以实现比原模型更高的 0.8%相对 Top-5 准确率。
Apr, 2024
本研究提出了一种名为 SVD training 的神经网络压缩方法,通过正交性正则化和奇异值剪枝等技术,可以在训练过程中显式地实现降低矩阵秩的目标,从而更有效地减少 DNN 算法在低性能设备上的计算负担。
Apr, 2020