AAAIJan, 2022

通过生成伪回放实现稳健且资源高效的无数据知识蒸馏

PDF
TL;DR本文提出了一种基于 Variational Autoencoder 的合成数据生成方法，以替代存储和重复合成数据的方式，从而提高基于 Data-Free Knowledge Distillation 方法的神经网络压缩效果，实现机器学习模型精简。
data-free knowledge distillationneural networkvariational autoencodersynthetic dataimage classification
发现论文，激发创造
  • 通过合成数据防止知识蒸馏中的灾难性遗忘和分布不匹配

    本论文提出了一种基于知识蒸馏的数据无需模型压缩框架，通过维护一个动态的生成样本集合并添加实际数据分布的限制，解决了现有数据无需压缩方法中可能存在的灾难性遗忘问题和人工数据分布不匹配问题。在 SVHN、Fashion MNIST 和 CIFAR100 数据集上与最先进的方法相比，表明可以提高通过知识蒸馏获得的学生模型的精度。

    Aug, 2021

  • 软目标定向传输集成的无数据知识蒸馏

    本研究提出了一个基于多元正态分布的数据自由知识蒸馏方法，该方法从过度参数化神经网络中模拟中间特征空间并利用软目标标签生成伪样本以作为转换集。使用这些合成的转移集训练多个学生网络，表现出与使用原始训练集和其他无数据知识蒸馏方法训练的网络相当的竞争性能。

    Apr, 2021

  • 无数据对抗蒸馏

    该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

    Dec, 2019

  • 小规模无数据知识蒸馏

    通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

    Jun, 2024

  • 生成对抗模拟器

    在强化学习中，我们提出了一种无模拟器知识蒸馏的方法，通过重新初始化数据生成器，利用对抗损失来显式地处理每个输出类的多个观察值，以找到尽可能多的实例，从而改进了现有技术在 MNIST、Fashion-MNIST、CIFAR-10 等基准数据集上的学习情况，同时具体解决了涉及多输入模式时的问题。

    Nov, 2020

  • 黑盒少样本知识蒸馏

    本文提出了一种黑盒少样本知识蒸馏方法，使用 MixUp 和条件变分自编码器生成多样的合成图像进行训练，显著优于最新 SOTA 的少 / 零样本 KD 方法用于图像分类任务。

    Jul, 2022

  • 针对自回归序列模型的广义知识蒸馏

    本论文提出了一种推广的知识蒸馏方法，旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时表现优异。

    Jun, 2023

  • 利用神经网络中的反向传播知识改进知识蒸馏

    该论文提出了一种新的知识蒸馏方法，通过在教师模型与学生模型差异较大的地方提取知识，在生成新的辅助样本的过程中改善学生模型的性能，从而使教师模型与学生模型更加匹配。这种方法在自然语言处理和计算机视觉等领域得到了良好的实验结果。

    Jan, 2023

  • 深度网络中的零样本知识蒸馏

    本文提出了零数据知识迁移的方法，通过自动生成 Data Impressions 从而实现了基于 Teacher 模型的知识迁移，不需要获取原始数据，具有实用性和良好的泛化能力。

    May, 2019

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023