Feb, 2020

特征图级别在线对抗知识蒸馏

PDF
TL;DR本文提出了一种在线知识蒸馏方法，在对抗训练框架下同时传输分类概率和特征图的知识，并使用判别器区分不同网络的特征图分布进行训练，比传统的直接对齐方法（如 L1）更适用于在线蒸馏，在多个网络之间引入循环学习方案，实验表明该方法的性能显著提高，特别是在训练一对小型和大型网络的情况下。
online knowledge distillationfeature mapadversarial training frameworkdiscriminatorsclassification task
发现论文，激发创造
  • 图神经网络的在线对抗蒸馏

    本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。

    Dec, 2021

  • 利用特征映射进行知识蒸馏的图像分类

    本文提出了一种名为 KDFM（含有特征映射的知识蒸馏）的方法，通过学习教师网络的功能映射来提高知识蒸馏的有效性，并在实验中得出使用 4 层 CNN 模仿 DenseNet-40 和使用 MobileNet 模仿 DenseNet-100，对于 CIFAR-100 数据集，学生网络与教师模型相比准确率损失小于 1％，并且学生网络的推理速度是教师模型的 2-6 倍，而 MobileNet 的模型大小小于 DenseNet-100 的一半。

    Dec, 2018

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • 在线交互式知识蒸馏的特征融合

    本研究提出了一种基于特征融合的学习框架，并通过在线知识蒸馏的方式，让不同子网络分类器之间相互教学，提高融合分类器和每个子网络的性能，多项数据集实验证明了该方法在预测准确性方面的有效性。

    Apr, 2019

  • 基于特征对抗蒸馏实现点云分类

    本文提出了 Feature Adversarial Distillation (FAD) 方法，在点云蒸馏中使用对抗性损失函数，通过攻击来自教师的反馈来获得学生的特征，从而在 40 倍模型压缩下，减少知识传递中的信息损失，同时保持了竞争性的性能。实验证明了该方法在 ModelNet40 和 ScanObjectNN 数据集上的有效性。

    Jun, 2023

  • 知识转移对抗网络 (KTAN)

    本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

    Oct, 2018

  • 多标签知识蒸馏

    提出一种新颖的多标签知识蒸馏方法，通过将多标签学习问题分解为一组二元分类问题，并利用标签间嵌入的结构信息来增强学习特征表示的独特性，避免标签间的知识对抗，从而在多个基准数据集上实现了优越的性能。

    Aug, 2023

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 在线知识蒸馏用于高效姿态估计

    本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

    Aug, 2021

  • 多分辨率知识蒸馏用于异常检测

    本研究旨在通过将专家网络的特征进行 “蒸馏” 以学习无监督表示，并使用这些特征检测和定位异常区域，证明了结合多个中间提示的蒸馏方法能够更好地利用专家网络的知识，并显著提高在多个数据集上进行异常检测和定位的性能。

    Nov, 2020