- 基于 SVD 的加权剪枝提升上下文学习性能：理论视角
基于 Transfomer 的预训练大型语言模型（LLM）展示了令人惊叹的上下文学习能力（ICL）。在本文中，我们展示了基于 SVD 的权重剪枝可以增强 ICL 性能的有趣现象，并且在深层剪枝权重通常导致浅层性能的更稳定的改善。然而，这些发 - 神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成
通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。
- 通过静态和动态修剪在 FPGA 上加速 ViT 推理
提出了一种综合算法 - 硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。
- 活动稀疏性与权重稀疏性相辅相成，用于高效的 RNN 推理
通过对参数进行稀疏化，结合稀疏激活在递归神经网络中的相乘作用，实现了对神经网络计算成本高效率的优化，可以应用于神经形态计算设备上，同时不牺牲任务性能。
- 语言模型的降低规模成本：在上下文学习之前事实记忆退化
参数扩展对大型语言模型核心能力的影响是如何的？我们研究了两种常见的扩展技术 —— 权重剪枝和直接训练更小或更大的模型，并分析了它们对语言模型的两个核心能力的影响：(a) 回忆在预训练阶段出现过的事实；(b) 处理推理过程中的上下文信息。通过 - 修剪能否提高大型语言模型的效率？
通过对 Transformer 架构进行参数剪枝的优化策略，通过广泛实验和超参数选择，研究发现可以在不牺牲性能的情况下显著减少模型大小，并改善通用性能，从而在深度学习应用方面实现更可扩展和环境友好的方式。
- 神经网络剪枝作为谱保持过程
通过矩阵稀疏化的过程，我们提出了适用于神经网络剪枝的矩阵稀疏化算法，以保留关键神经权重，从而为神经网络剪枝提供一个统一的理论基础，并提高了深度神经网络的可解释性。
- KDD稀疏化二进制神经网络的二进制域泛化
该论文提出了一种新的更一般的二进制域，扩展了标准二进制域，并且更适合剪枝技术，在保证性能的同时提高了压缩率，这种方法与其他修剪策略相结合可以生成高效稀疏网络，并减少内存使用和运行时间延迟。
- 模型稀疏化可简化机器遗忘
该研究介绍了一种通过模型稀疏化实现机器遗忘的方法，通过剪枝模型的权重来提高近似遗忘的性能，开发了两种新的稀疏感知的遗忘元方案，“先剪枝再遗忘” 和 “稀疏感知遗忘”，在不同的情景下取得了一致的遗忘效果提高。
- 使用权重修剪和奇异值分解在嵌入式设备上的可扩展目标检测
本文提出了一种将权重剪枝和奇异值分解相结合的方法来优化目标检测模型，作者通过与原始模型在帧率、mAP@50 和模型大小等方面性能的对比令其表现更加优越，进而证明该方法可以在保持准确性、速度和模型大小平衡的基础上有效地优化目标检测模型。
- ICMLSPDY：具有加速保证的精确裁剪
SPDY 是一种新的压缩方法，自动确定逐层稀疏度目标并最小化精度损失，从而实现所需的推理加速度，并且在流行的视觉和语言模型上表现良好。
- 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性
本文提出了一种差分映射方案，以提高 ReRAM 的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性 DNN 任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。
- 全局稀疏约束下神经网络的有效稀疏化
该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 Imag - 滤波器中的剪枝滤波器
本文提出了一种名为 SWP 的，基于 stripes 的滤波器修剪方法，该方法实现了高精度压缩和加速现代神经网络，大大提高了传统滤波器修剪方法的硬件友好性和压缩比，并通过 CIFAR-10 和 ImageNet 数据集的实验表明了其卓越的火 - 自监督 GAN 压缩
通过自我监督压缩技术，我们展示标准的模型压缩技术 (权重修剪) 不能应用于生成对抗网络 (GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。
- ACL压缩 BERT：研究权重剪枝对迁移学习的影响
本文探讨使用权重剪枝压缩 BERT 模型对迁移学习的影响，研究结果发现，对于预训练模型进行低水平的剪枝不会对其迁移能力造成影响，而高水平的剪枝则会导致模型性能的下降。在指定任务中对 BERT 进行微调并不会对其剪枝产生帮助。因此，本文得出结 - PCNN: 面向 CNN 加速器优化的基于模式的细粒度正则剪枝
PCNN 是一种细粒度 1D 修剪模型的技术，使用 SPM 编码 PCNN 中的稀疏性，实现在硬件中高效应用，并在 VGG-16 和 ResNet-18 上实现 8.4 倍的压缩率和仅 0.2% 的精度损失，同时在 55nm 工艺中实现了高 - ECCV面向移动设备实时推理的基于图案的稀疏度图像增强
介绍了一种新的基于模式的稀疏性方法，该方法包括模式和连接度稀疏性，旨在通过权重剪枝同时提高模型准确度和硬件加速性能，并提供了一种针对移动设备的高效 DNN 执行的解决方案。
- MM使用基于模式的权重修剪在移动设备上实现实时深度神经网络执行
该研究提出了一种新的维度 —— 在粗粒度结构内使用细粒度裁剪，以达到在移动设备上高效执行深度神经网络的效果，并通过编译器进行优化，取得了良好的效果。
- AAAIPCONV：DNN 权重剪枝中缺失但令人向往的稀疏性，用于移动设备上的实时执行
介绍了新的稀疏度维度 - 粗粒度结构内的细粒度剪枝模式 (PCONV) 方法，通过结构内的细粒度稀疏性和连接性稀疏性提高了精度和计算效率，在实时推理中取得了显著的速度提升，没有准确性损失。