- 基于变形器的学习可证明具有低秩和稀疏性：一层分析
这篇论文首次从理论上分析了低秩和稀疏性在一层 Transformer 中的特性，并通过数量化可训练参数的梯度更新得出了梯度具有低秩性的结论，同时论文还分析了模型剪枝对泛化能力的影响以及对计算效率的改善。
- MoreauPruner：针对权重扰动的大型语言模型稳健修剪
在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。
- 探究事后剪枝感知卷积神经网络的校准性和对抗鲁棒性：一项图像分类基准研究
当前研究中对图像分类任务进行的后期 CNN 剪枝技术的实证研究揭示了后期剪枝显著提高了模型的不确定性校准、性能和自然损坏鲁棒性，为安全和稳健的嵌入式 CNN 带来了希望。此外，剪枝不排斥不确定性校准和自然损坏鲁棒性，如通过后期非结构化剪枝的 - 自我退化的对比域自适应用于工业故障诊断中的双失衡数据
通过自我降级的对比域自适应 (Sd-CDA) 诊断框架来处理不平衡数据下的域差异问题，首先通过基于模型剪枝的不平衡感知对比学习方法对特征提取器进行预训练，以自监督方式高效地学习特征表示；然后基于监督对比域对抗学习 (SupCon-DA) 强 - 大型语言模型修剪
本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。
- 蒸馏剪枝：一种用于边缘设备上实时立体匹配网络的高效压缩框架
通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。
- 基於信息修剪的自動聯邦學習
这项研究介绍了一种利用知情剪枝的自动联邦学习方法，名为 AutoFLIP，在本地客户端和全局服务器中动态剪枝和压缩深度学习模型。它利用联邦丧失探索阶段研究来自不同数据集和丧失的模型梯度行为，提供参数重要性的见解。我们的实验证明 AutoFL - 基于梯度的模型修剪消除后门攻击
在日益关注网络安全威胁的时代，针对后门攻击的防御对于确保机器学习模型的完整性和可靠性至关重要。然而，许多现有方法要求大量数据以进行有效的缓解，给实际部署带来了重大挑战。为解决这个问题，我们提出了一种将后门攻击缓解视为一项取消学习任务的新方法 - 计算病理学中的结构模型修剪以提高推理效率
采用模型剪枝技术在生物医学成像中有效减少推理成本，至少能压缩 70% 的模型大小而性能几乎不下降。
- ONNXPruner：基于 ONNX 的通用模型剪枝适配器
通过使用 ONNXPruner 适配器，我们提出了一种多功能的剪枝方法，该方法可以适用于不同的深度学习框架和硬件平台，通过使用节点关联树来指导剪枝过程，并通过树级评估方法进行全面分析，从而提高剪枝性能。
- CVPRMULTIFLOW：面向任务无关的视觉 - 语言剪枝的转变
在本文中，我们提出了一种新的网络剪枝框架 Multimodal Flow Pruning (MULTIFLOW)，用于解决 Vision-Language 模型中高计算成本的问题，并将其应用于 Task-Agnostic Vision-La - 专注于神经元：神经元级别的大语言模型有监督微调
大型语言模型 (LLMs) 由表现出各种行为和角色的神经元构成，随着模型规模的扩大，它们变得越来越多样化。研究发现，并非所有神经元在不同的数据集上都活跃，这种稀疏性与任务特定能力呈正相关，为模型剪枝和训练效率的进展提供了基础。传统的微调方法 - ShortGPT: 大型语言模型中的层次关系比您预期的更冗余
大型语言模型的层之间存在高相似性，某些层对网络功能没有显著作用，因此提出了一种基于层重要性评分的剪枝方法，并且该方法在模型剪枝方面明显优于先前的最新方法，同时与量化等方法相互独立，能进一步减小参数和计算量。
- 非线性变压器的高效上下文学习训练：理论学习和泛化分析
通过理论分析，我们首次探讨了具有非线性自注意力和非线性 MLP 的 Transformer 模型的训练动态和 ICL 泛化能力，重点关注一组二分类任务，研究了各种因素对 ICL 泛化性能的影响，探讨了不同组件对 ICL 性能的贡献，并首次理 - LaCo：大型语言模型通过层坍缩进行修剪
提出了一种被称为 extit {Layer Collapse (LaCo)} 的简洁的逐层修剪方法，将后置模型层折叠到先前层，实现了模型大小的快速减小而同时保留了模型结构；全面的实验表明，该方法在修剪比例为 25-30% 时保持了超过 80 - 利用单一成分分类模型识别食品图像中的多种成分
本研究提出了一种改进的方法来识别从食物图像中分割出的成分，使用定位和滑动窗口技术定位成分的候选区域，并使用基于 CNN 的单成分分类模型将这些区域分配到成分类别中。为了解决多成分识别中的处理速度挑战，提出了一种新的模型修剪方法，提高了分类模 - 物理引导下的地球物理监测生成式人工智能工具包
借助物理原理指导的扩散模型，引入 EdGeo 工具包生成高保真速度图，用于微调精简机器学习模型；实验证明，使用 EdGeo 生成的数据进行微调可获得优质速度图，尤其适合表示特殊特征，优于其他现有方法。
- 自适应异构联邦学习用于资源受限的 AIoT 系统
适应性模型修剪策略的自适应联邦学习方法针对人工智能物联网设备中的异构性因素进行合作学习，通过强化学习的设备选择机制，将异构模型动态地分发给相应的设备进行本地训练，从而实现推断性能的提升。
- 平衡行动：在稀疏模型中约束不平等影响
通过直接解决剪枝带来的不一致影响，我们的研究提出了一种约束优化方法，通过在每个子组中限制密集模型和稀疏模型之间的准确度变化来确定剪枝模型是否达到可接受的不一致水平。实验证实了我们的技术在解决涉及大型模型和数百个受保护子组的问题上具有可靠的可 - PriPrune：修剪联邦学习中的隐私量化和保护
我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究，推导出了剪枝模型泄露信息量的信息论上界，并通过实验验证了这些理论发现，结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。