May, 2021

对比模型反演用于无数据知识蒸馏

PDF
TL;DR本文提出对比模型反演（Contrastive Model Inversion）来对抗由现有反演方法所引起的数据多样性缺失问题，实现更高的数据多样性从而提高实例区分度及在知识蒸馏中的性能表现。
model inversioncontrastive model inversiondata diversityinstance discriminationknowledge distillation
发现论文，激发创造
  • 知识增强的分布式模型反演攻击

    本文提出了一种基于 Inversion-specific GAN 的新型模型反演攻击方法，通过训练鉴别器不仅区分真伪样本，而且包括目标模型提供的软标签，进而为每个目标类建模私人数据分布，成功率比先前的攻击方式有所提高（150%），而且普适于多种数据集和模型。

    Oct, 2020

  • 对比学习反转数据生成过程

    使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

    Feb, 2021

  • CKD：基于样本级别的对比知识蒸馏

    我们提出了一种简单而有效的对比知识蒸馏方法，通过样本间和样本内约束问题的分析，实现了‘黑暗知识’的恢复。我们的方法通过对齐学生和教师的逐样本逻辑回归，最小化了相同样本中的逻辑回归差异，同时通过利用不同样本之间的差异性来弥合语义差异。通过对这些约束进行对比学习框架的优化，我们的方法不仅具备简单、高效的特点，还能有效地减少运行复杂度和超参数调整的需求。通过在 CIFAR-100、ImageNet-1K 和 MS COCO 三个数据集上的实验证明了我们提出的方法在图像分类和物体检测任务上的有效性。

    Apr, 2024

  • 跨模态对比学习蒸馏理论研究

    跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

    May, 2024

  • 从梦到精华：通过 DeepInversion 进行零数据知识转移

    本文介绍了 DeepInversion 方法用于从神经网络中的图像分布合成图像，使用 Adaptive DeepInversion 提高了生成图像的多样性，并应用于三个数据无关任务中，实现了数据无关的网络剪枝、知识迁移和不断学习。

    Dec, 2019

  • 黑盒解密：基于置信度的模型反演攻击与分布转移

    本文提出了一种称为 CG-MI 的置信度引导模型反演攻击方法，利用预训练的可公开获取的生成对抗网络（GAN）的潜在空间作为先验信息和无梯度优化器，在不同数据分布的黑盒设置中实现了高分辨率的模型反演攻击。实验证明，我们的方法在 Celeba 和 Facescrub 的不同分布设置中，比 SOTA 黑盒 MIA 的攻击效果提高了超过 49％和 58％。此外，我们的方法能够生成与白盒攻击产生的质量相当的高质量图像。我们的方法为黑盒模型反演攻击提供了实用而有效的解决方案。

    Feb, 2024

  • MixMix：数据无需压缩的关键在于特征和数据混合

    本文提出了基于 MixMix 的两个简单而有效的技术来解决深度学习研究中面临的用户数据机密保护和模型压缩的问题，同时证明了理论和实验的有效性，比现有的无数据压缩方法在量化、知识蒸馏和剪枝等主流压缩任务上取得了更好的表现。

    Nov, 2020

  • 小规模无数据知识蒸馏

    通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

    Jun, 2024

  • MIM4DD：数据集精炼的互信息最大化

    我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。

    Dec, 2023

  • 大规模生成无数据蒸馏

    提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

    Dec, 2020