该项目研究深度神经网络中的对抗攻击并探讨防御性蒸馏的方法，提出通过引入辅助网络来改善蒸馏模型的鲁棒性，并通过实验证明该方法的有效性及其对模型准确性的影响。

May, 2023

本文提出了一种多教师对抗鲁棒性蒸馏的方法 (MTARD)，以指导模型的对抗训练过程，并通过熵平衡算法和归一化损失平衡算法来解决准确性和鲁棒性之间的平衡问题。实验证明，MTARD 在公共数据集上优于现有的对抗训练和蒸馏方法。

Jun, 2023

本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

Aug, 2021

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

May, 2019

通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标签的平滑程度由在 KD 中为不同类别分配不同的温度来控制。大量实验表明，ABSLD 在鲁棒性和公平性的整体性能方面优于最先进的对手训练、对手鲁棒性蒸馏和公平性方法。

Dec, 2023

通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

Oct, 2022

针对数据集蒸馏的问题，我们提出了用合成标签来训练模型，比基于图像的方法更为有效；我们引入了更加鲁棒和灵活的元学习算法以及一种基于凸优化层的一阶策略，这种新算法可以提高模型的性能，并且可兼容各个优化器及不同的神经结构。我们的研究发现，标签蒸馏还能夸数据集应用，例如只通过合成标签的英文字母来训练以学习日文字母识别。

Jun, 2020

该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

Mar, 2024

本文提出了 Label Assignment Distillation (LAD) 和 Co-learning LAD 用于目标检测中标签分配的问题，实验结果表明 LAD 更有效且可与 soft-label 相结合，以及使用较小的 Teacher 网络也能够显著提高表现。

Aug, 2021