本文提出了一种利用公共可访问 Teacher Models 的知识展开的转移学习任务中的后门威胁，用于攻击真实世界图像和时间序列，提出了三种通常采用的防御类型：基于修剪的防御，基于重训练的防御和基于输入预处理的防御。

Jan, 2020

通过使用异构教师，我们以 DARHT 的方式开发了一种对抗攻击的防御框架，可以通过蒸馏具有低对抗性示例转移能力的异构教师来实现对抗鲁棒性，在白盒和黑盒方案下，DARHT 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 数据集上与竞争的对抗训练和蒸馏方法相比，实现了最先进的清洁和鲁棒性准确性。通过对异构教师集进行比较，我们发现利用具有低对抗性示例转移能力的教师可以提高学生模型的鲁棒性。

Feb, 2024

该项目研究深度神经网络中的对抗攻击并探讨防御性蒸馏的方法，提出通过引入辅助网络来改善蒸馏模型的鲁棒性，并通过实验证明该方法的有效性及其对模型准确性的影响。

May, 2023

通过在训练数据中结合稀疏输出与对抗样本，以增强教师模型对学生模型的防御，我们的研究引入了一种保护其输出的教师模型的方法，从而减少了对整体性能的影响。

Mar, 2024

本文提出两种黑盒模型反演攻击方法，不需要查询学生模型，可以成功地从传统教师模型转移学习中的学生模型中恢复高度可识别的数据记录。

Mar, 2022

本文提出了一种基于知识蒸馏的对抗性学习框架以更好地训练轻量化（学生）卷积神经网络，同时全面考虑了大型（教师）卷积神经网络中的概率分布和中间层表示。实验结果表明，该方法可以显著地提高学生网络在图像分类和物体检测任务 上的性能。

Oct, 2018

该研究旨在设计一种高效的基于转移学习的对抗检测器，并评估使用多个策略性放置的对抗检测器与单个对抗检测器相比在入侵检测系统中的有效性。通过将它们各自的决策相结合，我们证明结合多个检测器可以进一步提高对抗流量的可检测性。

Oct, 2022

針對高級文字到圖像擴散模型在身份隱私侵犯、版權侵犯和不宜上班的內容生成方面引起的安全問題，本文旨在利用對抗攻擊的可轉移性來探測黑盒情景下的不學習強健性。

Apr, 2024

通过传输攻击和博弈论的视角，在新的威胁模型下提出了一种有效的防御方法，该方法在公共模型和多个数据集上进行了评估，并且在最强的传输攻击下相较于最好的对抗训练模型具有明显优势。

Oct, 2023

本研究探索了在 SSL 中针对恶意编码器的一种叫作蒸馏的防御方法，蒸馏最初用于监督学习，其目的是从给定模型（即教师网络）中提取知识并传递给另一个模型（即学生网络），现在我们使用它来从被恶意植入的预训练编码器中提取良性知识并传递给一个新的编码器，以获得一个干净的预训练编码器。通过对两种顶级的预训练图像编码器和四种常用的图像分类数据集进行实验研究，我们的实验结果表明，蒸馏可以将攻击成功率从 80.87% 降低至 27.51%，但精度损失为 6.35%。此外，我们研究了蒸馏的三个核心组成部分：教师网络、学生网络和蒸馏损失对性能的影响，通过比较 4 个不同的教师网络、3 个不同的学生网络和 6 种不同的蒸馏损失，我们发现，精调过的教师网络、基于预训练训练的学生网络和基于注意力的蒸馏损失效果最佳。

Mar, 2024