Apr, 2019

无数据学习的学生网络

PDF
TL;DR提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。
portable neural networksdeep neural network compressiondata-free learningganscomputer vision
发现论文，激发创造
  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • 基于 Group-Stack Dual-GAN 的无数据知识融合

    本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。

    Mar, 2020

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 图神经网络的零数据对抗知识蒸馏

    本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

    May, 2022

  • 利用预训练的 GAN 生成有限数据

    本研究利用预训练的大规模 GAN 模型在有限数据情境下实现了对感知明显目标领域的图像生成，提出了自适应滤波器调制（AdaFM）的方法，证明了此技术在限制数据生成方面的有效性。

    Feb, 2020

  • FermiNets：通过生成合成学习生成式机器生成高效神经网络

    本研究提出了一种名为 “生成综合” 的新方法，它可以自动生成高度有效的深度神经网络架构，该方法可以广泛应用于移动和其他消费设备的边缘场景中，目的是加速和改进深度学习模型的构建，并提高模型效率和能源效率。

    Sep, 2018

  • 对抗性网络压缩

    本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

    Mar, 2018

  • DepthwiseGANs：用于逼真图像合成的快速训练生成对抗网络

    本篇论文探讨了使用 DepthwiseGAN 架构生成逼真图像的方法，并通过 Fréchet Inception Distance 对生成数据质量进行了评估。结果表明，DepthwiseGAN 可以在较短的训练期间内生成逼真的图像，但是模型容量对于生成建模仍然具有重要作用。

    Mar, 2019

  • 数据增强生成对抗网络

    本文提出了一种用于数据增强的生成对抗网络 (DAGAN) 模型，其可帮助神经网络在数据不足的情况下提高泛化能力，实验结果显示在 Omniglot、EMNIST 以及 VGG-Face 数据集中，使用 DAGAN 后精度显著提高，我们同时还使用 DAGAN 增强了匹配网络 (Matching Networks) 的性能。

    Nov, 2017