Sep, 2022

使用知识蒸馏和定点量化进行原地动物行为分类

PDF
TL;DR使用知识蒸馏技术，从加速度计数据中学习动物行为的紧凑而准确的模型，并利用门控循环单元（GRU）和多层感知器（MLP）作为学生模型，有效地降低了推理的计算和存储要求。进一步使用动态定点量化（DQ）技术在现场对动物行为进行分类，验证了该方法在提高准确度和效率方面的有效性。
knowledge distillationanimal behavior classificationwearable devicesresnetdynamic fixed-point quantization
发现论文，激发创造
  • QKD：量化知识蒸馏

    本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

    Nov, 2019

  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 量化蒸馏：为资源受限环境优化驾驶员活动识别模型

    通过使用知识蒸馏和模型量化来增强 3D MobileNet，该论文介绍了一个轻量级的资源高效驾驶员活动识别框架，通过从较大的教师模型（I3D）获取软标签来降低模型大小，降低内存和计算需求，从而实现模型大小的减小三倍和推断时间提升 1.4 倍。

    Nov, 2023

  • 再生神经网络

    本文研究知识迁移领域的另一种方法：Born-Again Networks (BANs)，将学生的参数与老师的相同， 来达到比老师更好的性能表现。在计算机视觉和语言建模任务中， BANs 表现出甚至比老师高出许多的性能得分，并且在各种规模的学生中，将知识从 DenseNets 到 ResNets 和反向传输，都显示出明显的优势

    May, 2018

  • 知识蒸馏在小模型回归问题训练中的高效方法

    本文提出了一种用于回归问题的新的知识蒸馏形式，其中包括教师异常值拒绝损失函数和多任务网络等内容，并通过对多个数据集的评估表明，该方法可以提高准确性。

    Feb, 2020

  • 让学生决策的知识蒸馏层

    通过引入可学习的 KD 层和模板学习方法，我们提出一种新的知识蒸馏技术，实现了对学生模型在中间层中进行特征变换的显式控制，并在多个分类基准测试中验证了其有效性。

    Sep, 2023

  • 知识蒸馏下的 CTR 预测集成

    本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

    Nov, 2020

  • SFT-KD-Recon：磁共振图像重建中以学生为导向的知识蒸馏教师的学习

    深度级联体系结构、知识蒸馏、MRI 加速、SFT-KD-Recon 和重建性能。

    Apr, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 基于对抗知识蒸馏的无数据量化网络

    本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

    May, 2020