CVPRMar, 2020

基于 Group-Stack Dual-GAN 的无数据知识融合

PDF
TL;DR本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。
deep learningconvolutional neural networkmulti-task learninggenerative adversarial networksdata-free
发现论文，激发创造
  • 综合分类知识的融合

    本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

    Nov, 2018

  • 无数据学习的学生网络

    提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。

    Apr, 2019

  • 文本分类的自我调节无数据知识融合

    该论文提出了一种轻量级的学生网络，通过多个预训练模型进行知识传递，以在无法访问原始训练数据的情况下训练一个高效的学生模型。使用提出的 STRATANET 建模框架，该方法在不同的文本分类数据集上得到了显著优于其他基准方法的结果，同时满足数据驱动和无数据约束。

    Jun, 2024

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • 图神经网络的零数据对抗知识蒸馏

    本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

    May, 2022

  • 用于零样本学习的特征生成网络

    该研究提出使用生成对抗网络（GAN）来 “合成” 零样本类别的 CNN（卷积神经网络）特征，从而应对通用零样本学习任务中已有的数据不平衡问题。实验结果表明，该方法在多个数据集上的表现均显著优于现有方法。

    Dec, 2017

  • 通过自适应知识融合从异质教师中定制学生网络

    本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。

    Aug, 2019

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 用于无数据模型窃取的双学生网络

    通过对称地训练两个学生模型，提供生成器一种生成样本的标准，使两个学生模型对样本有分歧，这个方法可以间接地估计目标模型的梯度，优化生成器网络的训练目标，并提供更准确的目标模型梯度估计和更好的基准分类数据集准确性。此外，在改进查询效率的同时，我们的方法仍具有训练计算成本的平衡，有效用于转移性对抗攻击的代理模型。

    Sep, 2023

  • 多域学习 GANs 的有效数据增强

    该论文提出了基于生成对抗网络的数据增强方法，使用多域学习 GAN 将外部数据集的知识导入目标模型中以生成目标任务的新样本，从而提高深度学习应用中的数据开发效率并在图像分类任务中取得了更好的分类精度。

    Dec, 2019