IJCAIJul, 2020

P-KDGAN: 基于 GAN 的渐进式知识蒸馏用于单类别新颖性检测

PDF
TL;DR本文提出了基于生成对抗网络的渐进式知识蒸馏来解决资源限制下深度神经网络参数过多的问题，并在检测异常实例的一个类别新奇检测上实现了最先进的性能。通过在 CIFAR-10、MNIST 和 FMNIST 上进行实验，结果显示，我们的方法在压缩计算的同时提高了学生 GAN 的性能。
one-class novelty detectiongenerative adversarial networksprogressive knowledge distillationresource limitationscompression
发现论文，激发创造
  • 通过对抗知识蒸馏压缩深度图神经网络

    本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

    May, 2022

  • TextKD-GAN：使用知识蒸馏和生成对抗网络生成文本

    本文提出一种使用知识蒸馏的方法来有效利用生成对抗网络（GAN）进行文本生成，通过将自编码器（AE）用于提供连续的句子表示来演示该方法。实验结果表明，相较于传统的基于 GAN 的文本生成方法而言，该方法在 BLEU 得分和 Jensen-Shannon 距离（JSD）方面表现更好。

    Apr, 2019

  • 生成去噪蒸馏：简单随机噪声在密集预测中有效传递知识

    知识蒸馏是将知识从一种更强大的大模型（教师）转移到一个更简单的对应物（学生）的过程。通过引入新颖的发生器去噪蒸馏方法（GDD），本文提出了一种从教师中导出更紧凑表示的方法，并在目标检测、实例分割和语义分割等任务中得到了新的最佳表现。

    Jan, 2024

  • SKDCGN: 使用 cGAN 源无关的对抗生成网络进行反事实知识蒸馏

    本文提出了一种使用预训练的 CGN 模型进行知识蒸馏的技术，以实现黑盒访问下的知识迁移。采用 TinyGAN 学习预训练的 BigGAN，从而使生成图像更具属性，使分类器更具有不变性。

    Aug, 2022

  • 一种新的知识蒸馏网络用于增量式少样本表面缺陷检测

    本文针对表面缺陷检测中的数据增量问题，提出了一种基于知识蒸馏和预训练 - 微调迁移学习范式的新型检测网络 DKAN，通过特征和分类知识对齐来解决遗忘和误分类问题，在 NEU-DET 数据集上实验证明其有效性，表现优于其他方法。

    Sep, 2022

  • 小波知识蒸馏：实现高效的图像到图像翻译

    本论文提出了一种基于离散小波变换的知识蒸馏方法，用于提高小型生成对抗网络在高频信息生成方面的性能，在保证性能无明显下降的情况下，可将模型体积缩小 7.08 倍、加速 6.80 倍，并研究了鉴别器和生成器之间的关系。

    Mar, 2022

  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 自我知识蒸馏与渐进式目标细化

    该文介绍了一种称为渐进式自我知识蒸馏的有效规则化方法，适用于任何具有硬目标的监督学习任务，可以提高模型的泛化性能和置信度预测，并取得了优于基准的实验结果。

    Jun, 2020

  • $V_kD:$ 使用正交投影来改进知识蒸馏

    通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

    Mar, 2024

  • 基于核的渐进式蒸馏技术用于加法器神经网络

    本文提出了一种新的基于递进的核知识蒸馏方法 (progressive kernel based knowledge distillation, PKKD) 来改善加法神经网络 (Adder Neural Networks, ANNs) 性能的方法，并在多个基准测试上对所提出的方法的有效性进行了验证。

    Sep, 2020