基于特征亲和力辅助的无标签数据下深度神经网络知识蒸馏和量化

Feb, 2023

基于特征亲和力辅助的无标签数据下深度神经网络知识蒸馏和量化

Feature Affinity Assisted Knowledge Distillation and Quantization of Deep Neural Networks on Label-Free Data

Zhijian Li, Biao Yang, Penghang Yin, Yingyong Qi, Jack Xin

TL;DR本文提出了一种特征亲和力辅助的知识蒸馏方法来提高深度神经网络的量化训练，对于提取关键特征和无标签数据压缩模型具有重要意义。

Abstract

In this paper, we propose a feature affinity (FA) assisted knowledge distillation (KD) method to improve quantization-aware training of deep neural networks (DNN). The FA loss on intermediate feature maps of DNNs

feature affinity knowledge distillation neural networks quantization-aware training model compression

发现论文，激发创造

网络量化的特征量化蒸馏

神经网络量化是通过使用低比特近似来加速和剪裁全精度神经网络模型的过程。本文提出了一种新颖且高效的量化感知训练方法，即量化特征蒸馏（QFD），通过首先训练一个量化（或二值化）的教师表示，然后使用知识蒸馏（KD）来量化网络。定量结果表明，QFD 比之前的量化方法更加灵活和有效（即量化友好），在图像分类和目标检测任务上明显优于现有方法，同时又更为简单。此外，QFD 对 MS-COCO detection 和 segmentation 中的 ViT 和 Swin-Transformer 进行了量化验证，从而验证了其在实际部署中的潜力。据我们所知，这是第一次将视觉变换器量化应用于目标检测和图像分割任务。

Jul, 2023

基于对抗知识蒸馏的无数据量化网络

本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

May, 2020

QKD：量化知识蒸馏

本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

Nov, 2019

自监督量化感知知识蒸馏

该论文提出了一种新颖的自监督量化感知知识蒸馏 (SQAKD) 框架，通过将量化感知训练与知识蒸馏相结合，同时最小化全精度模型与低比特模型之间的 KL-Loss 和量化的离散化误差，从而有效克服了现有方法需要繁琐的超参数调节、标签数据需求和复杂的训练过程的限制，并在各种模型结构上明显优于现有的量化感知训练和知识蒸馏方法。

Mar, 2024

利用特征映射进行知识蒸馏的图像分类

本文提出了一种名为 KDFM（含有特征映射的知识蒸馏）的方法，通过学习教师网络的功能映射来提高知识蒸馏的有效性，并在实验中得出使用 4 层 CNN 模仿 DenseNet-40 和使用 MobileNet 模仿 DenseNet-100，对于 CIFAR-100 数据集，学生网络与教师模型相比准确率损失小于 1％，并且学生网络的推理速度是教师模型的 2-6 倍，而 MobileNet 的模型大小小于 DenseNet-100 的一半。

Dec, 2018

深度神经网络的无数据知识蒸馏

提出了一种无需训练集的知识蒸馏方法，仅利用预训练模型释放的一些额外元数据，就能将大规模数据集上训练的深度神经网络压缩到其大小的一小部分，并探索了可用于该方法的不同类型的元数据以及使用它们所涉及的权衡。

Oct, 2017

海报：自监督量化感知知识蒸馏

本研究提出了一种自监督量化感知知识蒸馏框架 (SQAKD)，可同时最小化 KL-Loss 和离散化误差，显著提升各种最先进的量化感知训练方法的性能。

Sep, 2023

特征量化改进 GAN 训练

本论文提出了一种对于 GAN 不稳定问题的解决方法，即对鉴别器采用 Feature Quantization（特征量化）进行特征匹配，该方法可以提升基于大规模复杂图像数据集的三种 GAN 模型的表现，使得 FID 分数获得大幅提升。

Apr, 2020

特征图级别在线对抗知识蒸馏

本文提出了一种在线知识蒸馏方法，在对抗训练框架下同时传输分类概率和特征图的知识，并使用判别器区分不同网络的特征图分布进行训练，比传统的直接对齐方法（如 L1）更适用于在线蒸馏，在多个网络之间引入循环学习方案，实验表明该方法的性能显著提高，特别是在训练一对小型和大型网络的情况下。

Feb, 2020

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023