- 在多任务口语语言理解模型中寻找任务特定的子网络
通过神经网络剪枝，在多任务语言理解模型中找到特定任务的子网络，实现模型压缩和在新数据上适应能力的提升。
- CVPR通过数据驱动的频谱视角修剪在视觉模型中发现彩票票据
神经网络修剪能够减少深度学习模型训练之前的计算成本和内存需求。我们专注于该框架，并提出了一种新的初始化修剪算法，利用神经切向核（NTK）理论将稀疏网络的训练动态与密集网络对齐。我们介绍了如何考虑 NTK 光谱中通常被忽视的数据相关部分，并通 - 神经网络修剪的有效子集选择
在一些领域（如医学数据）中，有大量的标注数据对于深度神经网络的效果至关重要。为了明智地选择待标注的数据（即子集选择问题），我们研究了子集选择和神经网络剪枝之间的关系，并建立了它们之间的联系。借鉴了神经网络剪枝的见解，我们提出了利用神经网络特 - 结构剪枝：任何架构，任何框架，任何时间
结构化修剪技术 (SPA) 是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和 ONNX 表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA 在不同架构、流行框架和不同 - 基于顺序注意力的块稀疏化：可微剪枝结合组合优化
神经网络剪枝是一种重要的技术，能够构建大规模且可扩展、可解释和可推广模型。本文提出了一个结构化神经网络剪枝的方法，将可微剪枝指导组合优化算法选择最重要的稀疏参数集，从而在 ImageNet 和 Criteo 数据集上取得了大规模神经网络块级 - 少即通用：一种面向大型语言模型的通用且简单的非参数剪枝算法
基于核密度估计 (KDE) 的 KEN 是一种简单、通用且非结构化的修剪算法，旨在通过有选择性地保留最重要的参数并恢复其他参数到其预训练状态来构建优化的 Transformer 模型，这种方法在保持模型性能的同时只存储优化的子网络，从而实现 - 走向 Sobolev 训练
利用灵敏度信息在学习和修剪过程中建立替代模型的新方法，以解决模型尺寸减小带来的敏感性和不确定性变化的问题，并以定量金融为案例研究进行实证验证。
- 稀疏神经网络中的线性模式连接
通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质 - GraFT: 渐进融合变换器用于多模态再识别
Gradual Fusion Transformer (GraFT) is proposed for multimodal Object Re-Identification (ReID), employing learnable fusio - 薄冰上的样本：重新评估神经网络的对抗剪枝
神经网络剪枝是一种有效的技术，可以减小网络大小，以提高稀疏性，但会牺牲泛化能力和对抗攻击的鲁棒性。本研究重新评估了三种最先进的对抗剪枝方法，发现它们的鲁棒性被高估，同时发现剪枝后，在接近未剪枝模型决策边界的样本通常被错误分类。通过讨论这一发 - ICLR稀疏熵 - 瓦瑟斯坦回归强大的网络剪枝
本研究提出了一种先进的神经网络剪枝技术，通过在计算经验 Fisher 信息矩阵（FIM）过程中巧妙处理嘈杂的梯度。我们介绍了一种基于几何属性的熵 Wasserstein 回归（EWR）模型，通过采用数据点之间的邻域插值实现噪声缓解。Wass - Feather: 一种高效 DNN 稀疏化的优雅解决方案
利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 Re - 动态 ASR 路径：多语音 ASR 模型高效剪枝的自适应遮罩方法
本文提出了一种自适应掩蔽方法，用于高效地修剪多语言自动语音识别模型，并展示了该方法在目标为稀疏的单语言模型时的优势，同时减少了语言特定修剪的需求。
- 剪枝与否：一种基于混沌因果性的原则性稠密神经网络剪枝方法
通过引入混乱学习（李亚普诺夫指数）以及利用因果关系来识别造成错误分类的因果权重，我们将网络修剪问题公式化为一个最小化错误分类的优化问题。这样修剪后的网络保持原有性能并保留特征解释能力。
- 基于贝叶斯推断修剪神经网络
我们提出了一种利用贝叶斯推断的剪枝神经网络的新方法，该方法可以无缝地融入训练过程，并通过计算贝叶斯因子来指导迭代剪枝，从而实现所需的稀疏度，并保持竞争性的准确性。
- 剪枝 vs 量化：哪个更好？
对神经网络剪枝和量化技术进行了广泛的比较，结果显示在大多数情况下，量化优于剪枝，只有在极高的压缩比下，剪枝在准确性方面可能带来好处。
- 用于实时息肉分割的神经网络剪枝
本研究使用神经网络修剪技术在息肉分割领域应用，通过计算卷积滤波器的重要性得分并移除得分最低的滤波器，有效减少参数数量和 FLOPs，而保持相似的精度。
- 基于 Hessian 剪枝的资源高效神经网络
使用 FP16 精度代替 FP32 实现变异矩阵迹快速估算的剪枝方法可以加快计算速度并缩小 GPU 内存占用，在不影响模型性能的情况下，可以进一步使用 QAT 技术对模型进行压缩。
- 去枝遇见低秩参数高效微调
本文提出了一个名为 LoRAPrune 的统一框架，旨在实现高性能的大规模预训练模型的高效微调和部署，其中使用了 PEFT 感知的剪枝标准和基于 Low-Rank Adaption（LoRA）的梯度值和梯度的重要性估计，通过迭代剪枝过程以最 - 基于知识增强的半监督联邦学习：聚合 IoT 中异构轻量级客户端
pFedKnow 是一个 SemiFL 框架，它通过神经网络剪枝技术生成轻量级的个性化客户端模型以降低通信成本，并将预训练的大型模型作为先验知识来指导个性化客户端模型的聚合，以进一步提高框架性能。