Apr, 2019

无数据学习的学生网络

HTML
PDF
TL;DR提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。
发现论文，激发创造
  • 通过条件对抗网络进行知识蒸馏，训练浅层和瘦身网络以实现加速

    本文介绍了使用条件对抗网络来学习从大型精准教师神经网络中获取知识来训练小型快速学生神经网络的学生-教师策略，并研究了网络大小对于分类准确度和推理时间之间的平衡的影响和建议。

    Sep, 2017

  • 生成对抗网络概述

    本文概述了生成对抗网络在信号处理中的应用，讨论了GANs的训练方法和构建策略以及它们在deep representations学习中的表现和存在的挑战。

    Oct, 2017

  • 对抗性网络压缩

    本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。

    Mar, 2018

  • 通过特征嵌入学习学生网络

    本文提出了一种基于特征嵌入的新型教师-学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师-学生模型。

    Dec, 2018

  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 基于Group-Stack Dual-GAN的无数据知识融合

    本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。

    Mar, 2020

  • 生成对抗网络综述：变种、应用与训练

    本文综述了生成模型的最新应用——生成对抗网络（GAN）及其在计算机视觉和机器学习领域的实际应用，讨论了GAN训练中的困难和障碍，并调查了不同研究者提出的训练方案，以求实现GAN的稳定训练，最后探讨了与该主题相关的新问题和研究方向。

    Jun, 2020

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为Dual Discriminator Adversarial Distillation (DDAD)的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021