对记忆型持续学习算法的对抗鲁棒性进行研究，提出了一种新的对抗鲁棒记忆型持续学习方法，通过调整数据的逻辑值来减轻敌对样本导致的过去信息遗忘，并通过梯度选择机制克服有限存储数据导致的梯度混淆，实验结果表明该方法在对抗数据上取得高达 8.13% 的更高准确性。

Nov, 2023

机器学习系统的安全性和可靠性需要对抗鲁棒性。然而，由于神经网络在学习新任务时容易忘记先前的对抗鲁棒性，复杂的防御算法所获得的对抗鲁棒性很容易被抹去。为了解决这个问题，我们提出了一种名为 “双梯度投影” 的方法，通过将权重更新的梯度正交投影到两个关键子空间上，实现连续鲁棒学习，这两个子空间一个用于稳定平滑的样本梯度，另一个用于稳定神经网络的最终输出。四个基准测试的实验结果表明，我们提出的方法有效地保持了连续鲁棒性，对抗强对抗攻击的效果优于结合现有防御策略和连续学习方法的基准线组成的方法。

Feb, 2024

本文提出了一种对抗背景攻击的新型防御性框架，该框架利用了攻击者隐藏后门模式的能力，提出了学习一个更加可感知（更强大）的模式以抵抗攻击的思想，同时通过使用多种连续学习基准数据集来证明其有效性。

Apr, 2023

该研究论文综述了深度学习模型对抗鲁棒性的研究主题和基本原则，包括攻击、防御、验证和新应用。

Feb, 2022

该研究论文系统地回顾了针对深度学习模型的对抗训练在对抗鲁棒性方面的最新进展，并从三个视角讨论了对抗训练中的泛化问题，同时指出了尚未完全解决的挑战并提出潜在的未来研究方向。

Feb, 2021

本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

Mar, 2020

本文介绍了一种对抗攻击深度学习模型的新防御方法，即 External Adversarial Training (EAT)，它可以有效地解决在 class-incremental continual learning (CICL) 中出现的数据不平衡问题，避免了失真和降低准确性等问题。

May, 2023

本文提出了一种可扩展的对抗式连续学习（SCALE）方法，使用参数生成器将共同特征转换为任务特定特征和单个判别器在对抗游戏中诱导共同特征。该方法通过类元学习的方式进行训练，使用三个损失函数的新组合。SCALE 方法在准确性和执行时间方面优于突出的基线。

Sep, 2022

针对深度表格模型的健壮性评估和对抗攻击的研究，提出 CAA 对约束表格深度学习模型进行攻击，构建深度表格模型的健壮性评估基准，为提高深度表格模型在各种对抗攻击场景下的健壮性提供安全实践建议。

Nov, 2023

通过在 LLM 的连续嵌入空间中计算对抗攻击来提高对离散攻击的鲁棒性，我们提出了一种快速的对抗训练算法 (C-AdvUL)，通过对对抗行为数据集上计算的连续嵌入攻击使模型变得鲁棒；我们还引入了 C-AdvIPO，这是一种对抗的 IPO 变体，不需要效用数据进行对抗性鲁棒对齐。我们的实证评估表明，这两个算法显著提高了 LLM 对离散攻击的鲁棒性，并保持了效用。这些结果表明，对连续扰动的鲁棒性可以外推到离散的威胁模型，为大规模对抗训练算法的鲁棒对齐 LLM 提供了一条路径。

May, 2024