IJCAIAug, 2018

谱修剪：通过谱分析压缩深度神经网络及其广义误差

PDF
TL;DR为了高效执行边缘计算设备上的深度学习系统，我们提出了一种新的理论框架来模型压缩并提出了一种称为 “谱剪枝” 的新的修剪方法。我们通过使用协方差矩阵在内部节点上的特征值分布来量化模型的内在维度，并表明压缩能力本质上由此控制。此外，我们提供了压缩模型的尖锐泛化误差界并表征了压缩过程引起的偏差 - 方差平衡问题。我们将我们的方法应用于多个数据集，以验证我们的理论分析并展示所提出的方法的优越性。
发现论文，激发创造
  • 神经网络剪枝作为谱保持过程

    通过矩阵稀疏化的过程，我们提出了适用于神经网络剪枝的矩阵稀疏化算法，以保留关键神经权重，从而为神经网络剪枝提供一个统一的理论基础，并提高了深度神经网络的可解释性。

    Jul, 2023

  • 基于稀疏性视角的深度神经网络剪枝

    本文提出了 PQ Index (PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。

    Feb, 2023

  • 模拟指导的迭代剪枝网络压缩方法

    本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

    Feb, 2019

  • SpectralNet：使用深度神经网络进行谱聚类

    本篇论文提出了一种名为 SpectralNet 的深度学习方法，通过在大量的未标注数据上训练，将输入的数据转换为与其相连的图拉普拉斯矩阵的特征空间的向量，并成功地应用于谱聚类，实现了对谱聚类中可扩展性以及广义化转化的双重突破。

    Jan, 2018

  • 深度学习谱偏差研究

    论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

    Dec, 2019

  • SCSP: 具有软自适应方式的谱聚类滤波剪枝

    本文提出了一种新的卷积神经网络压缩方法，即采用软自适应方式的谱聚类滤波器剪枝（SCSP），通过层层使用谱聚类来探索过滤器之间的内在连接并只计数有效组来实现模型压缩，同时保持相当的性能表现，也找到了一种新的解释模型压缩过程的方法。

    Jun, 2018

  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 光谱神经网络：近似理论与优化景观

    机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

    Oct, 2023

  • 剪枝还是不剪枝：探索模型压缩中剪枝的有效性

    本文探讨在资源受限环境下，通过模型剪枝来压缩神经网络模型的方法，提出了一种简单、直接、易于应用的逐渐剪枝技术，并在多个模型 / 数据集上进行了比较，发现大型稀疏模型在保持较高精度的同时可减少 10 倍的参数数量。

    Oct, 2017

  • 光谱图修剪抵抗过度压缩和过度平滑

    通过删除边可以同时解决过度压缩和过度平滑的问题，从而提高图神经网络的泛化性能，并将谱间隙优化与减少计算资源的目标相连接。

    Apr, 2024