自监督量化感知知识蒸馏

Mar, 2024

Self-Supervised Quantization-Aware Knowledge Distillation

Kaiqi Zhao, Ming Zhao

TL;DR该论文提出了一种新颖的自监督量化感知知识蒸馏 (SQAKD) 框架，通过将量化感知训练与知识蒸馏相结合，同时最小化全精度模型与低比特模型之间的 KL-Loss 和量化的离散化误差，从而有效克服了现有方法需要繁琐的超参数调节、标签数据需求和复杂的训练过程的限制，并在各种模型结构上明显优于现有的量化感知训练和知识蒸馏方法。

Abstract

quantization-aware training (QAT) and knowledge distillation (KD) are combined to achieve competitive performance in creating low-bit deep learning models. However, existing works applying KD to QAT require tedio

quantization-aware training knowledge distillation low-bit deep learning models self-supervised quantization-aware knowledge distillation co-optimization problem

发现论文，激发创造

海报：自监督量化感知知识蒸馏

本研究提出了一种自监督量化感知知识蒸馏框架 (SQAKD)，可同时最小化 KL-Loss 和离散化误差，显著提升各种最先进的量化感知训练方法的性能。

Sep, 2023

QKD：量化知识蒸馏

本文提出了一种量化感知知识蒸馏的方法，并通过三个阶段的教学来协调量化和 KD，从而在 ImageNet 和 CIFAR-10 / 100 数据集上提高了模型的性能。

Nov, 2019

理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练

本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。

Nov, 2022

LLM-QAT: 大型语言模型的无数据量化感知训练

通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

May, 2023

网络量化的特征量化蒸馏

神经网络量化是通过使用低比特近似来加速和剪裁全精度神经网络模型的过程。本文提出了一种新颖且高效的量化感知训练方法，即量化特征蒸馏（QFD），通过首先训练一个量化（或二值化）的教师表示，然后使用知识蒸馏（KD）来量化网络。定量结果表明，QFD 比之前的量化方法更加灵活和有效（即量化友好），在图像分类和目标检测任务上明显优于现有方法，同时又更为简单。此外，QFD 对 MS-COCO detection 和 segmentation 中的 ViT 和 Swin-Transformer 进行了量化验证，从而验证了其在实际部署中的潜力。据我们所知，这是第一次将视觉变换器量化应用于目标检测和图像分割任务。

Jul, 2023

冻住！通过信号传播分析提高大型语言模型的量化知识蒸馏

该研究提出了一种轻量级量化感知微调技术，使用知识蒸馏来改进 4 位权重量化大语言模型的性能，并通过对梯度传播进行实证研究以稳定 KD-QAT 过程。通过 ov-freeze 技术，在 4 位量化级别上实现了接近浮点精度性能，在常识推理基准测试中精度损失不超过 0.7%。

Mar, 2024

基于对抗知识蒸馏的无数据量化网络

本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

May, 2020

EdgeQAT：基于熵和分布的量化感知训练用于边缘轻量级语言模型加速

提出了一种新的轻量级语言模型优化方法 EdgeQAT，通过熵和分布引导的量化感知训练，动态量化不同位宽的令牌，从而在边缘设备上实现推理加速，并实验证明其与 FP16 模型相比在多个边缘设备上可以达到高达 2.37 倍的速度提升。

Feb, 2024

QEKD: 基于黑盒模型的无数据查询知识蒸馏

提出了一种新的查询高效知识蒸馏方法（QEKD），可以从黑盒模型 API 中进行查询有效学习，不需要实际数据，并在不同实际数据集上展现出良好性能。

May, 2022

BitDistiller: 通过自我蒸馏释放次 4 位 LLMs 的潜力

BitDistiller 是一种通过 Quantization-Aware Training (QAT) 和 Knowledge Distillation (KD) 相结合的方法，可以提高大型语言模型在超低精度（低于 4 位）下的性能，包括了量化和剪裁技术以及一种新颖的 Confidence-Aware Kullback-Leibler Divergence (CAKLD) 目标函数，经实证评估，在 3 位和 2 位配置上明显超越现有方法，并且更加经济高效。

Feb, 2024