Oct, 2023

NetDistiller: 通过原地蒸馏强化微小深度学习

PDF
TL;DR通过将微小神经网络（TNNs）作为权重共享教师网络的子网络，利用梯度手术和不确定性感知蒸馏两种方法，我们提出了 NetDistiller 框架，以提高 TNNs 的可实现准确性，从而解决边缘设备的内存、计算、带宽和电源供应的限制问题。实验证实了 NetDistiller 在提升 TNNs 可实现准确性方面的有效性，胜过其他最先进的方法。
tiny neural networksnetdistillerachievable accuracyweight-sharing teacheruncertainty-aware distillation
发现论文，激发创造
  • 自我蒸馏：通过蒸馏提高卷积神经网络性能

    提出了一种名为 “自蒸馏” 的卷积神经网络训练框架，通过将网络大小缩小而不是扩大来显著提高卷积神经网络的性能（准确性）。它与传统的知识蒸馏不同，后者是将预训练的教师神经网络的输出作为 softmax 层输出的近似值强制学生神经网络去逼近。该框架将知识内化到网络本身，对深度方面的可伸缩推理提供了灵活性，能够在资源有限的边缘设备上运行。

    May, 2019

  • 在线蒸馏实现的大规模分布式神经网络训练

    本文介绍了一种相对简单易用的基于在线蒸馏的神经网络训练优化方法，该方法使得我们能够在使用大规模数据集时提升模型精度并提高训练速度，同时在成本较低的情况下显著提高模型的预测可复现性。

    Apr, 2018

  • 特征蒸馏的全面改进

    本文研究了特征蒸馏方法在网络压缩中的设计问题，并提出了一种新的特征蒸馏方法，其中蒸馏损失的设计使各个方面之间产生协同效应：老师变换，学生变换，蒸馏特征位置和距离函数。该方法在图像分类、目标检测和语义分割等多个任务中实现了显著的性能提升。

    Apr, 2019

  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 用廉价卷积进行蒸馏

    提出了一种通过结构模型蒸馏实现神经网络内存降低的方法，使用注意力转移，并提供了残差网络的 Pareto 曲线和表格，证明这种蒸馏方法在极少损失准确率的情况下能够显著节省内存并提升学生网络性能。

    Nov, 2017

  • NetBooster：借鉴深度巨人之力，助力微小深度学习

    NetBooster 框架通过扩张 - 收缩策略扩充小型神经网络结构，从而解决 Tiny deep learning 在大规模数据集和下游任务上的欠拟合问题。实验证明 NetBooster 始终优于现有的 Tiny deep learning 解决方案。

    Jun, 2023

  • 神经网络蒸馏器：DNN 压缩研究的 Python 软件包

    该论文介绍了神经网络压缩研究的开源 Python 软件包 Neural Network Distiller 的哲学、设计和功能集。该软件包旨在为工程师和研究人员提供 DNN 压缩算法实现、工具、教程和样本应用，并具有可扩展性的设计，可方便新的研究。

    Oct, 2019

  • 知识蒸馏在小模型回归问题训练中的高效方法

    本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

    Feb, 2020

  • 通过知识蒸馏技术提高低精度网络的准确度

    本文介绍了一种组合使用低精度计算和蒸馏知识来提高深度学习网络性能的方法，该方法取得了 ImageNet 数据集上 ResNet 架构各种变体的三元精度和 4 位精度的准确率的最新成果，并提供了三种应用蒸馏知识技术到训练和部署流程中的方案。

    Nov, 2017

  • 通过改进蒸馏技术实现高效的评估时不确定性估计

    该研究旨在通过修改知识蒸馏过程，获取计算有效的深度网络不确定性估计，并在包括以及超出分布样本中实现最先进的不确定性估计。

    Jun, 2019