提出了一种名为数据无关知识蒸馏（DFKD）的新任务，旨在使用仅带有原始训练数据的教师网络训练高性能学生模型。通过自适应采样模块对接近原始数据分布的开放世界数据进行采样，引入低噪声表示以减轻领域漂移并建立多个数据示例的结构化关系来开发数据知识。在 CIFAR-10、CIFAR-100、NYUv2 和 ImageNet 等广泛实验中，我们的 ODSD 方法实现了最先进的性能，在 ImageNet 数据集上与现有结果相比，准确率提高了 1.50％-9.59％。

Jul, 2023

该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

Dec, 2019

利用不受数据限制的知识蒸馏方法（DFKD），通过不确定性导向和样本特定锚定来解决智能系统在隐私问题、性能退化和合适知识转移方面的挑战。

Mar, 2024

在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

Nov, 2023

数据无关知识蒸馏是训练高性能小模型以增强实际部署的有希望的任务，本文提出了一种新颖的因果推断视角来解决在 DFKD 任务中的严重分布偏移问题，并设计了一种基于反向调整的知识蒸馏因果干预框架（KDCI），实验证明了其有效性。

Mar, 2024

该研究提出了一种自适应分配逐样本可靠度的方法，以每个教师的预测可信度来稳定知识转移过程，并结合中间层来提高学生成绩，在不同的教师 - 学生架构下，优于所有其他现有方法。

Dec, 2021

本文旨在探讨数据无关知识蒸馏的安全问题并提出了 Anti-Backdoor Data-Free KD，这是第一个用于缓解潜在后门被转移的数据无关 KD 方法的防御性插件。

Jun, 2023

通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

Jun, 2024

本文探讨了知识蒸馏（KD）中的师生对相对可靠性的问题，提出了一种忠实模仿框架并提供了经验和认证方法来评估学生与其老师的相对校准，同时介绍了一种忠实蒸馏方法，其在 MNIST 和 Fashion-MNIST 数据集上的实验表明了其优越性。

Jun, 2023

本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

May, 2022