ICMLNov, 2017

WSNet: 通过权重采样实现紧凑高效的神经网络

PDF
TL;DRWSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。
wsnetparameter sharingdeep neural networksmodel compressionaudio classification
发现论文，激发创造
  • 固定权重网络

    本文提出一种名为 “Weight Fixing Networks” 的新方法，通过结合多种技巧，如无损全网络量化、聚类代价等，旨在实现压缩深度学习模型中唯一参数数量的最小化，实验证明该方法优于现有压缩方法。

    Oct, 2022

  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023

  • 利用图卷积网络匹配权重共享 NAS 的搜索空间

    本文针对神经架构搜索中子网络精度不足的问题，提出一种基于图卷积网络的训练策略，提升搜索性能，实现更高的排名相关系数。同时，该方法还具有适用于多种硬件限制的灵活性。

    Apr, 2020

  • 高效神经音频合成

    本文针对顺序模型中高效采样的问题，提出了一种基于 WaveRNN 和权重修剪和子缩放 WaveRNN 的通用技术，可以在保持高输出质量的同时提高采样速度。

    Feb, 2018

  • FSNet：基于滤波器的深度卷积神经网络压缩

    提出通过权重共享的卷积核表示的新方法对深度卷积神经网络 (CNNs) 进行压缩，该方法将卷积核定位在 Filter Summary (FS) 中，每个卷积层的参数空间大大减小，且该方法可以轻松适用于权重量化。该文还提出了 Differentiable FSNet，该模型中卷积核之间的权重共享是可区分的。实验结果表明该方法在视觉任务中有效。

    Feb, 2019

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • WeightNet: 重新审视权重网络的设计空间

    WeightNet 是一种用于生成卷积权重的框架，将当前两种最有效的 SENet 和 CondConv 方法结合在同一框架下，通过添加一个群组全连接层来实现，由此直接输出卷积权重，而不是特征空间，训练容易且节省空间，具有优异性能。

    Jul, 2020

  • 在修剪的权值预算上进行完整深度神经网络训练

    本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

    Jun, 2018

  • 基于通道卷积的紧凑高效卷积神经网络

    本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。

    Sep, 2018

  • SSBNet：通过自适应采样提高视觉识别效率

    本文提出了插入自适应采样层到现有深度神经网络中以提高效率的 SSBNet，该方法在 ImageNet 和 COCO 数据集上达到了竞争性的图像分类和目标检测性能。

    Jul, 2022