Mar, 2018

对抗性网络压缩

HTML
PDF
TL;DR本研究介绍了一种通过对抗网络压缩方法实现从深层精确的模型向更小的模型中转移知识的方法，该方法不需要使用标签进行训练，并在不同的师生模型上泛化；在五个固定的标准数据集上进行广泛的评估表明，该学生模型准确率略有下降，而且性能比其他知识传输方法更好，并且超越了同一网络在使用标签训练时的性能，并且对比其他压缩策略的表现也达到了现有的最佳水平。
发现论文，激发创造
  • 深度模型压缩：从带噪声的教师中提取知识

    本研究通过引入基于噪声的正则项对深度学习模型压缩中的教师-学生框架进行扩展，以解决模型存储大小、运行时复杂度和训练时复杂度等问题，实验结果在 CIFAR-10 数据集上表现最佳，表明该方法在深度模型压缩方面有潜力。

    Oct, 2016

  • 通过条件对抗网络进行知识蒸馏，训练浅层和瘦身网络以实现加速

    本文介绍了使用条件对抗网络来学习从大型精准教师神经网络中获取知识来训练小型快速学生神经网络的学生-教师策略，并研究了网络大小对于分类准确度和推理时间之间的平衡的影响和建议。

    Sep, 2017

  • 领域自适应的深度网络压缩

    本文研究深度神经网络在领域迁移后的压缩问题，提出一种基于低秩矩阵分解的压缩算法，结合目标域的激活统计信息，在不降低模型性能的情况下将模型参数量压缩至传统技术的5-20%。

    Sep, 2017

  • N2N Learning: 基于策略梯度增强学习的网络压缩

    本研究提出了一种基于强化学习的数据驱动方法来学习神经网络的压缩模式，可以在维持与输入网络相似的性能的同时实现超过10倍的模型压缩，并且通过预训练小型‘teacher’网络的策略可以加速大型‘teacher’网络的训练。

    Sep, 2017

  • 深度网络压缩感知训练

    本文提出在训练过程中明确考虑模型压缩，通过引入低秩正则化项使每层参数矩阵的秩尽量小，实现更有效的模型压缩。实验证明，这一方法比现有的压缩技术更加高效。

    Nov, 2017

  • 复杂网络的释义：通过因子传递实现网络压缩

    本文提出了一种基于卷积操作的知识转移方法，通过使用两个模块，即叙述模块和翻译模块，将教师网络的知识转化为学生网络的知识，从而实现模型压缩和知识转移，实验结果表明这种方法优于传统的知识转移方法。

    Feb, 2018

  • 知识转移对抗网络(KTAN)

    本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

    Oct, 2018

  • 知识蒸馏压缩生成对抗网络

    本研究提出了使用知识蒸馏技术压缩生成对抗网络 (GANs) 参数的方法，使得在固定参数预算内，压缩后的 GANs 可以产生比标准训练方法更高质量的图像。我们观察到 GANs 的压缩有其定量的极限，并且过度参数化的 GANs 优化问题对交替梯度下降提供了高效的训练，这表明使用我们的方法可以获得高质量的生成模型与较少的参数。

    Feb, 2019

  • 自监督 GAN 压缩

    通过自我监督压缩技术，我们展示标准的模型压缩技术(权重修剪)不能应用于生成对抗网络(GANs)，并且展示我们的框架在高度稀疏的情况下提供了很好的性能、易于应用于新任务和模型，并且实现了在不同压缩粒度下的有意义比较。

    Jul, 2020

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021