May, 2023

基于稀疏矩阵草图的剪枝基于幅度的泛化界限

PDF
TL;DR本文基于 Arora 等人的研究，在获得有效率的 Magnitude-Based 压缩算法的基础上，针对神经网络进行剪枝和误差边界研究，并通过迭代剪枝算法在 MNIST 和 CIFAR10 数据集上进行了实验验证。
generalization errorpruningneural networkscompression algorithmiterative pruning
发现论文，激发创造
  • 具有拓扑一致剪枝的小型图卷积网络

    本文提出了一种新颖的幅值剪枝方法，通过重新参数化和两个监督双向网络来保证被提取的子网络具有拓扑一致性，从而显著增强了其泛化能力，本方法在基于图卷积神经网络的骨架动作识别任务上经过了广泛的实验证明。

    Jun, 2023

  • 谱修剪：通过谱分析压缩深度神经网络及其广义误差

    为了高效执行边缘计算设备上的深度学习系统，我们提出了一种新的理论框架来模型压缩并提出了一种称为 “谱剪枝” 的新的修剪方法。我们通过使用协方差矩阵在内部节点上的特征值分布来量化模型的内在维度，并表明压缩能力本质上由此控制。此外，我们提供了压缩模型的尖锐泛化误差界并表征了压缩过程引起的偏差 - 方差平衡问题。我们将我们的方法应用于多个数据集，以验证我们的理论分析并展示所提出的方法的优越性。

    Aug, 2018

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 深度网络剪枝的几何视角：有多稀疏可以剪枝？

    本文研究了深度神经网络的过度参数化问题，提出了一种全局一次性网络剪枝算法，并通过计算高维几何中的正交宽度来确定剪枝比率的相变点，该值等于基于 $l_1$ 正则化损失函数的某个凸体的平方高斯宽度除以参数的原始维度。

    Jun, 2023

  • 利用概率形态剪枝进行预算感知的图卷积网络设计

    本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实验证明，轻量级 GCN 在非常高的剪枝基准下有显着的性能提升。

    May, 2023

  • 基于模型的神经网络的泛化和估计误差界

    本研究利用全局和局部 Rademacher 复杂性等复杂度度量方法，为模型网络的泛化和估计误差提供了上界，并显示了模型网络在稀疏恢复方面的泛化能力优于普通 ReLU 网络，从而导出基于模型的网络的实用设计规则以保证高泛化性能。该研究的实验结果证实了我们理论上的洞见。

    Apr, 2023

  • 关于跨尺度修剪的可预测性

    通过功能近似，我们证明了迭代幅值修剪网络的错误可以预测，并且遵循对网络结构、任务、修剪等级等参数的不变性；我们表明这个近似适用于大规模数据和体系结构，从而为未来构建大规模网络提供了有用的理论支持。

    Jun, 2020

  • 高维空间中学习稀疏特征的最优修剪

    通过在高维度中训练剪枝神经网络并与梯度下降算法结合，我们研究了剪枝网络对广泛类统计模型学习的影响，发现剪枝神经网络在样本复杂度上相比未剪枝网络有提升，并引入了相关统计查询下界来支持这一观点。

    Jun, 2024

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。

    Nov, 2023

  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023