机器学习系统中的对抗现象给实际应用带来了严重安全威胁，本调查旨在从统一的视角对现有的防御机制进行系统回顾，通过将机器学习系统划分为预训练、训练、后训练、部署和推断等五个阶段，提出明确的分类法，以分析各个防御机制的机制、联系和差异，并激发未来研究开发更先进、全面的防御机制。

Dec, 2023

为确保强化学习在真实系统中的可用性，需要保证其对噪声和对抗性攻击具有鲁棒性。本文研究在线操纵攻击的全类攻击形式，包括状态攻击、观察攻击、行动攻击和奖励攻击。我们通过马尔可夫决策过程（MDP）对隐藏在攻击交互中的元级环境进行建模，并展示了该攻击者设计隐蔽攻击以最大化其预期收益（通常对应于减小受害者价值）的问题。我们证明攻击者可以通过规划或使用标准强化学习技术进行学习，以多项式时间或多项式样本复杂度确定最优攻击策略。我们认为受害者的最优防御策略可以通过解决随机 Stackelberg 博弈获得，该博弈可以简化为部分可观察的交替轮流随机博弈（POTBSG）。攻击者和受害者都不会从偏离各自最优策略中获益，因此这些解决方案具有真正的鲁棒性。虽然防御问题是 NP 困难的，但我们证明在许多情况下最优马尔可夫防御策略可以在多项式时间（样本复杂度）内计算（学习）。

Nov, 2023

深度学习模型对抗攻击和防御的鲁棒性的综合实验研究表明，模型复杂度和鲁棒性之间存在显著关系，并且应用防御策略可以显著减少攻击效果。

May, 2024

本研究介绍了基于模型决策的 Boundary Attack，它比传统基于梯度或得分的攻击更加适用于实际的黑盒模型应用，同时它不需要替代模型，比起传输攻击需要更少的知识，更容易应用，提高了机器学习模型的鲁棒性，同时也引发了有关部署机器学习系统安全性的新问题。

Dec, 2017

本文探讨了 13 种已在相关会议上发表的对抗性防御方法对抗自适应攻击方法的实验结果，发现这些方法在实际运用中并不完善，因此提出了一种可行的自适应攻击方法，希望能够为研究更为健壮的防御模型提供指导。

Feb, 2020

研究在决策类攻击领域提出了像素级决策驱动的黑盒攻击算法，该算法使用增强学习算法找到对抗性扰动分布，经实验证明，与现有技术相比更具攻击成功率和可转移性。

Nov, 2022

本文针对电网控制系统的弱点进行研究，发现现有的强化学习算法存在敏感性，容易受到恶意攻击，提出了一种基于对抗训练的解决方案，以增强算法的安全性和鲁棒性。

Oct, 2021

通过对网络入侵检测系统进行基于机器学习的威胁模拟，发现现有文献中的威胁模型不适用于实际的网络安全情景，因此，有必要加强现有防御系统以及探索更加真实和有效的对抗方式。

Jun, 2021

金融领域中恶意攻击风险愈发上升，为了保护机器学习模型不受攻击，对对抗策略和强健的防御机制进行深入理解至关重要。本研究通过一项竞赛来调查基于序列金融数据的神经网络模型的对抗攻击和防御方法，并通过分析竞赛动态、实验证明了开发的攻击和防御方法在实际执行中的优越性，验证了竞赛作为发现和减轻机器学习模型漏洞的工具的有效性。

Aug, 2023

本研究是首次系统地研究灰盒 / 黑盒交通空间对抗攻击来评估基于 ML 的 NIDS 的鲁棒性，攻击效果最高可达 97% 躲避率。研究提出可自动突变原始数据流、适用于多种 ML/DL 模型和非载荷特征的通用攻击，同时提出防御措施来提高系统鲁棒性。

May, 2020