动态可裁剪网络
本文提出 DS-Net 和 DS-Net ++,两种基于动态权重分割的动态可裁剪网络。通过改变卷积神经网络 (CNNs) 或变压器 (transformers) 的滤波器数量和维度,以使其适应输入的不同难度水平,从而实现硬件有效的动态推理范式,同时保持网络参数静态和连续存储。与静态和动态模型压缩方法相比,大量实验表明,该方法具有更好的性能 (高达 6.6% 的提升)。
Sep, 2021
本研究提出了一种名为动态网络手术的网络压缩方法,能够通过即时连接修剪显著降低网络复杂性,同时避免了错误裁剪的问题,并将其作为一个持续的网络维护过程,实验结果表明,该方法能够有效地压缩 LeNet-5 和 AlexNet 的参数数量,而不会损失精度,同时优于最近的裁剪方法。
Aug, 2016
该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法,将可变宽度神经网络扩展到任意宽度,提出了两种改进的训练技术,能够提高训练过程和测试准确性;作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法,证明其有效性,同时打开了直接评估网络结构 FLOPs-Accuracy 谱的可能性。
Mar, 2019
本文提出了一种通过动态和稀疏的图结构来执行深度神经网络(DNNs)进行压缩存储和加速执行的方法,该方法在训练和推断时均可应用,以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能,并在各种基准测试中几乎无损失地维护准确性。
Oct, 2018
本文提出了一种名为 “网络瘦身” 的新颖学习方案,可以通过引入通道级稀疏性,简化深度卷积神经网络,降低了其计算成本,减小了运行时内存占用,同时不影响准确度。我们进行了多组实验,证明了该方案在各种图像分类数据集上具有较好的效果。
Aug, 2017
本文介绍了动态稀疏神经网络 (DSNN) 技术,该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置,有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题,实验结果表明,DSNN 模型的表现与单一稀疏度网络的表现相当。
May, 2020
本文提出了一种名为 DRESS 的新型训练算法,用于从同一主干网络中通过基于行的非结构稀疏性采样多个子网络,并通过加权损失并行训练这些子网络,以及利用参数重用和基于行的精细采样策略来实现高效存储和设备适应。在公共视觉数据集上的大量实验证明,DRESS 比最先进的子网络具有显着更高的准确性。
Jul, 2022
本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度(即层中通道的数量),从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化,可以在不同的宽度配置下进行训练,并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。
Dec, 2018
通过使用 SkipNet,结合特定输入实现卷积层跳过的目的。我们提出了一个混合学习算法,以解决非可微分跳过决策的问题,并在四个基准数据集上展示了 SkipNet 可以在保留准确性的基础上减少计算量 30-90%。此外,我们定性评估了门控策略,揭示了图像大小和显著性以及跳过层数之间的关系。
Nov, 2017
本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training,它可以通过可训练的剪枝门限实现优化神经网络参数和结构,并通过反向传播动态地进行精细化调整。利用这一算法,我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比,Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外,我们还发现了传统三阶段剪枝算法的潜在问题,为更紧凑的神经网络架构设计提供了理论指导。
May, 2020