生成去噪蒸馏：简单随机噪声在密集预测中有效传递知识

Jan, 2024

生成去噪蒸馏：简单随机噪声在密集预测中有效传递知识

Generative Denoise Distillation: Simple Stochastic Noises Induce Efficient Knowledge Transfer for Dense Prediction

Zhaoge Liu, Xiaohao Xu, Yunkang Cao, Weiming Shen

TL;DR知识蒸馏是将知识从一种更强大的大模型（教师）转移到一个更简单的对应物（学生）的过程。通过引入新颖的发生器去噪蒸馏方法（GDD），本文提出了一种从教师中导出更紧凑表示的方法，并在目标检测、实例分割和语义分割等任务中得到了新的最佳表现。

Abstract

knowledge distillation is the process of transferring knowledge from a more powerful large model (teacher) to a simpler counterpart (student). Numerous current approaches involve the student imitating the knowledge of the teacher directly. However, redundancy still exists in the learne

knowledge distillation generative denoise distillation object detection instance segmentation semantic segmentation

发现论文，激发创造

掩码生成蒸馏

本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

May, 2022

迭代生成模型中的知识蒸馏以提高采样速度

本篇论文介绍了一种新的技术，将多步去噪过程压缩为单步的知识蒸馏方法，从而提高图像生成的采样速度，且不需要对抗训练，通过在 CIFAR-10、CelebA 数据集上的实验表明，我们的去噪学生 Denoising Student 能够生成与 GANs 相当的高质量样本，并可扩展到更高像素的图像生成任务。

Jan, 2021

知识扩散用于蒸馏

本论文提出了一种名为 DiffKD 的新型知识蒸馏方法，其基于扩散模型显式去噪和匹配特征，以更好地实现精简干净特征和教师特征的蒸馏。在图像分类、对象检测和语义分割任务中，DiffKD 在各种特征类型上均取得了最先进的性能。

May, 2023

G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

Aug, 2021

目标检测的通用实例蒸馏

利用 discriminative instances，我们提出了一个叫做 general instance distillation（GID）的检测任务中的知识蒸馏方法，其学生模型在不同的检测框架中都实现了显著的 AP 改进，甚至在 COCO 数据集上超过了教师模型。

Mar, 2021

大规模生成无数据蒸馏

提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

Dec, 2020

利用全局信息提炼物体检测器

本文提出了一种更本质的知识蒸馏方法，通过测量老师和学生探测器的两个特征空间中的一组公共基向量关于实例的表示来度量全局知识，使用样本空间对齐的方式将知识蒸馏应用于构建全局知识，以过滤噪声的全局和本地知识，并证明了该方法的有效性。

Oct, 2022

Adv-KD: 教师对抗知识蒸馏以加速扩散采样

通过将去噪步骤直接整合到模型的架构中，本研究提出了一种新方法，将扩散模型与生成对抗网络结合起来，通过知识蒸馏实现更高效的训练和评估，从而减少了所需的参数和去噪步骤，提高了测试时的采样速度。

May, 2024

数据无关模型压缩的双判别器对抗蒸馏

提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

Apr, 2021

时空图卷积网络上的知识蒸馏用于交通预测

使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

Jan, 2024