ICLRSep, 2023

用于无数据模型窃取的双学生网络

PDF
TL;DR通过对称地训练两个学生模型，提供生成器一种生成样本的标准，使两个学生模型对样本有分歧，这个方法可以间接地估计目标模型的梯度，优化生成器网络的训练目标，并提供更准确的目标模型梯度估计和更好的基准分类数据集准确性。此外，在改进查询效率的同时，我们的方法仍具有训练计算成本的平衡，有效用于转移性对抗攻击的代理模型。
data-free model stealinggeneratorstudent modeltraining samplesgradient estimation
发现论文，激发创造
  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • MEGA: 通过协作的生成器替代网络进行模型窃取

    本文提出了一种基于协作生成替代模型网络的无数据模型窃取框架 MEGA，该框架通过合成查询示例和预测标签来模拟目标模型，并且通过最大化替代模型的置信度来生成图像，实验表明，该框架所训练的替代模型和黑盒敌对攻击的成功率均比现有的数据无关的攻击方法高。

    Jan, 2022

  • 在硬标签环境中实现无数据模型窃取

    本文提出了一种利用 GAN-based framework 来绕过 hard label，仅仅通过访问 top-1 prediction 的方式，以及不访问模型梯度和训练数据的情况下偷取机器学习模型的方法，同时通过利用公开数据集来降低查询成本，并在 100 类数据集上展示了模型窃取的规模性。

    Apr, 2022

  • 基于 Group-Stack Dual-GAN 的无数据知识融合

    本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。

    Mar, 2020

  • 无数据对抗蒸馏

    该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

    Dec, 2019

  • 无数据学习的学生网络

    提出基于生成对抗网络（GANs）的深度神经网络的无数据训练方法，将预训练的教师网络视为固定的鉴别器，利用生成器派生的训练样本和教师网络一起训练出模型较小和复杂度较低的有效网络。通过 Data-Free Learning（DAFL）方法学习，使用 ResNet-18 在 CIFAR-10 和 CIFAR-100 数据集上实现了 92.22％ 和 74.47％ 的精度，并在 CelebA 基准测试上获得了 80.56％ 的精度。

    Apr, 2019

  • 通过对抗信念匹配实现零样本知识迁移

    通过使用对抗生成器训练学生模型，从而在没有任何数据或元数据的情况下，将来自大型教师网络的知识迁移到小型学生网络中，实现了零数据的跨数据集知识迁移，并在少样本下获得了比实际数据集的更好效果。

    May, 2019

  • MAZE: 使用零阶梯度估计的无数据模型窃取攻击

    本文提出了一种名为 MAZE 的新型数据无关模型窃取攻击方法，采用零阶梯度估计和生成模型，无需任何数据，能够有效地窃取目标模型。经过四个数据集的评估，MAZE 在规范化克隆准确度方面表现良好，并在克隆准确度、攻击查询和寻求与目标分布更相近的数据等方面进行了改进。

    May, 2020

  • Dual Student: 半监督学习中打破教师限制

    本文介绍一种基于一致性方法来改善半监督学习（SSL）效果的新模型 —— 双生学生（Dual Student），它将原模型中的教师模型替换为另一个学生模型；还引入了一个新的概念 —— 稳定样本，利用它来设计一个稳定约束以便于模型的训练；本文还讨论了新模型的两种变体，并在 SSL 基准测试中对其进行了广泛的实验，证明了本文提出的新模型可以显著提高分类性能和领域适应性。

    Sep, 2019

  • 双判别器生成对抗网络

    本文提出了一种名为双判别器生成对抗网络（D2GAN）的生成对抗网络算法，该算法使用 KL 散度和反 KL 散度，避免了多峰性分布的崩塌问题，并在广泛的实验中证明了与最新 GAN 算法相比的竞争和卓越性能。

    Sep, 2017