无需访问数据的深度分类器模仿
通过借助扩散模型生成逼真多样的图像，我们提出使用一个新的应用案例来复制黑盒分类模型，并在极少数量的调用中进行模型抽取任务，通过使用主动自适应学习框架来蒸馏被攻击模型的知识，我们的实证结果显示，该框架在少量调用模型抽取场景中优于两种现有方法。
Sep, 2023
本文介绍了一种被称为反事实知识蒸馏 (CFKD) 的新技术，通过人类专家反馈帮助检测和消除深度学习模型对混淆因素的依赖。该技术在受监管或安全关键领域有着重要作用，论文还展示了反事实解释相对于其他类型解释的优点，并提出了一个实验方案来定量评估 CFKD 的成功情况以及能够对模型提供反馈的不同教师。同时还引入了一个与真实测试性能更相关的新度量方式。通过在合成增强数据集和真实组织病理学数据集上进行的实验，论文证明了 CFKD 的有效性。
Oct, 2023
本论文提出了一种基于知识蒸馏的数据无需模型压缩框架，通过维护一个动态的生成样本集合并添加实际数据分布的限制，解决了现有数据无需压缩方法中可能存在的灾难性遗忘问题和人工数据分布不匹配问题。在 SVHN、Fashion MNIST 和 CIFAR100 数据集上与最先进的方法相比，表明可以提高通过知识蒸馏获得的学生模型的精度。
Aug, 2021
该研究旨在探讨无模型归属的机器学习分类器，通过提出一个框架来复制任何分类器的功能，同时引入一套度量标准来评估实践中生成的副本，以验证该框架的可用性。研究结果表明，副本可以用于增强现有解决方案并添加新功能和特性。
Mar, 2019
提出了一种基于常识感知的知识图谱嵌入框架，能够从实体概念中自动提取常识，利用其拓展有效自我监督，同时通过常识和事实视角的链接预测实现高质量负采样，提高了知识图谱嵌入模型的性能。
Feb, 2022
研究探讨了机器学习模型解释与攻击的关系，并提出了基于知识蒸馏的替代模型提取方法和添加差分隐私的对抗性解释生成方法。实验结果表明，添加隐私保护会影响解释器的性能和生成的对抗性解释的质量，使攻击性能降低。
Apr, 2024
本文提出了一种新的替代训练视角，着重于设计在知识窃取过程中使用的数据分布，提出了多样化的数据生成模块来综合宽泛的分布的大规模数据，并引入对接近决策边界的数据进行对抗替换训练策略，两个模块的结合可以进一步提高替代模型和目标模型的一致性，大大提高了对抗攻击的有效性。
Apr, 2021
本文介绍了一种名为 “可解释的 Mimic 学习” 的新型知识蒸馏方法，用于学习解释性的表型特征，以进行强大的预测，同时模仿深度学习模型，以解决临床决策中关键的模型可解释性问题。在临床时间序列数据集上进行的详尽实验表明，我们的方法获得了与深度学习模型相似或更好的性能，且为临床决策提供了可解释的表型特征。
Dec, 2015
使用主动学习和大规模公共数据集的模型提取框架，可以通过黑盒访问从图像和文本领域的各种数据集中训练出的深度分类器，其中仅使用其 30%（30,000 个样本）的数据集。
May, 2019