Sep, 2022

动量对抗蒸馏：数据无关蒸馏中处理大分布偏移

PDF
TL;DR本文提出一种名为 Momentum Adversarial Distillation (MAD) 的方法，使用演员生成器和 EMA（Exponential Moving Average）生成器的合成样本对学生进行培训，通过保持 EMA 生成器的过去版本来防止快速改变的学生，以解决 DFKD 中的分布偏移问题。实验证明，MAD 在许多基准数据集上胜过竞争方法，甚至在某些情况下实现了最新的成果。
发现论文，激发创造
  • 无数据对抗蒸馏

    该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

    Dec, 2019

  • 数据无关的去卷积知识蒸馏处理分布转移

    数据无关知识蒸馏是训练高性能小模型以增强实际部署的有希望的任务，本文提出了一种新颖的因果推断视角来解决在 DFKD 任务中的严重分布偏移问题，并设计了一种基于反向调整的知识蒸馏因果干预框架（KDCI），实验证明了其有效性。

    Mar, 2024

  • 图神经网络的零数据对抗知识蒸馏

    本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

    May, 2022

  • 通过生成伪回放实现稳健且资源高效的无数据知识蒸馏

    本文提出了一种基于 Variational Autoencoder 的合成数据生成方法，以替代存储和重复合成数据的方式，从而提高基于 Data-Free Knowledge Distillation 方法的神经网络压缩效果，实现机器学习模型精简。

    Jan, 2022

  • 通过合成数据防止知识蒸馏中的灾难性遗忘和分布不匹配

    本论文提出了一种基于知识蒸馏的数据无需模型压缩框架，通过维护一个动态的生成样本集合并添加实际数据分布的限制，解决了现有数据无需压缩方法中可能存在的灾难性遗忘问题和人工数据分布不匹配问题。在 SVHN、Fashion MNIST 和 CIFAR100 数据集上与最先进的方法相比，表明可以提高通过知识蒸馏获得的学生模型的精度。

    Aug, 2021

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 小规模无数据知识蒸馏

    通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

    Jun, 2024

  • 学会在获取知识的同时保持知识：对抗非对抗数据知识蒸馏中的分布偏移

    提出一种数据无关知识蒸馏的框架，称为学会保留和获得，通过元学习的方式将知识获取和保留视为元培训和元测试，并确定知识保留和获得任务之间的隐含对齐因素，从而为这两个任务强制实施共同的梯度方向。

    Feb, 2023

  • 通过知识蒸馏学习可推广的车辆路径问题模型

    本文提出了一种自适应多分布知识蒸馏（AMDKD）方案，通过利用来自多个已训练教师模型的知识来生成轻量级且更广义的学生模型，从而解决了现有神经方法在车辆路径问题上交叉分布泛化的问题，并展示了其优异的性能。

    Oct, 2022