Nov, 2023

量化蒸馏：为资源受限环境优化驾驶员活动识别模型

PDF
TL;DR通过使用知识蒸馏和模型量化来增强 3D MobileNet，该论文介绍了一个轻量级的资源高效驾驶员活动识别框架，通过从较大的教师模型（I3D）获取软标签来降低模型大小，降低内存和计算需求，从而实现模型大小的减小三倍和推断时间提升 1.4 倍。
deep learning-based modelsdriver activity recognitionlightweight frameworkknowledge distillationmodel quantization
发现论文，激发创造
  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 基于知识蒸馏的自主车辆规划中的可扩展高效交互感知

    结合知识蒸馏的优化，通过训练小型网络，提高了自动驾驶交互感知中的路径规划的速度和精确性。

    Apr, 2024

  • QKD：量化知识蒸馏

    本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

    Nov, 2019

  • 使用知识蒸馏和定点量化进行原地动物行为分类

    使用知识蒸馏技术，从加速度计数据中学习动物行为的紧凑而准确的模型，并利用门控循环单元（GRU）和多层感知器（MLP）作为学生模型，有效地降低了推理的计算和存储要求。进一步使用动态定点量化（DQ）技术在现场对动物行为进行分类，验证了该方法在提高准确度和效率方面的有效性。

    Sep, 2022

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023

  • 在 CPU 上的扩散模型的有效量化

    通过结合量化感知训练和蒸馏方法，我们提出了一种新的扩散模型量化方法，可以在维持高图像质量的同时，在 CPU 上展示出高效推断能力。

    Nov, 2023

  • 网络量化的特征量化蒸馏

    神经网络量化是通过使用低比特近似来加速和剪裁全精度神经网络模型的过程。本文提出了一种新颖且高效的量化感知训练方法，即量化特征蒸馏（QFD），通过首先训练一个量化（或二值化）的教师表示，然后使用知识蒸馏（KD）来量化网络。定量结果表明，QFD 比之前的量化方法更加灵活和有效（即量化友好），在图像分类和目标检测任务上明显优于现有方法，同时又更为简单。此外，QFD 对 MS-COCO detection 和 segmentation 中的 ViT 和 Swin-Transformer 进行了量化验证，从而验证了其在实际部署中的潜力。据我们所知，这是第一次将视觉变换器量化应用于目标检测和图像分割任务。

    Jul, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • QD-BEV: 量化感知视图引导蒸馏多视角三维物体检测

    QD-BEV 是一种应用于多视角三维检测的方法，通过量化以及视角引导的蒸馏目标，可以提高模型性能并减少模型大小。

    Aug, 2023

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020