该研究论文综述了深度学习模型对抗鲁棒性的研究主题和基本原则，包括攻击、防御、验证和新应用。

Feb, 2022

本文介绍了一种基于生成对抗网络的黑盒攻击，旨在分析和提高当前最先进的深度聚类模型的鲁棒性。经过实验验证，本篇研究发现传统无监督防御方法无法有效抵御这种攻击方式，从而呼吁开发更为鲁棒的深度聚类模型。

Oct, 2022

本文提出了一种学习算法，旨在解决对抗性示例对机器学习模型的攻击，并尝试通过设计新的算法和理论分析来提高其鲁棒性和性能。

Jun, 2023

本篇研究通过分类对抗性攻击和防御方法，提出三类半定界数理优化问题，即对抗 (再) 训练、正则化方法和认证防御，并调查了最近的研究成果和挑战以及展望未来的发展。

Jul, 2020

本研究探讨了增强 $k$-means 聚类算法对抗性操纵的挑战和策略，评估了聚类算法对抗性攻击的易受攻击性，强调了相关的安全风险，并研究了攻击强度对训练的影响，引入了有监督和无监督模型之间的可传递性概念，并突出了无监督模型对样本分布的敏感性。此外，我们还引入和评估了一种对抗性训练方法，该方法提高了在对抗情景下的测试性能，并强调了所提出训练方法中的各种参数的重要性，如连续学习、质心初始化和对抗步数。

Dec, 2023

机器学习系统中的对抗现象给实际应用带来了严重安全威胁，本调查旨在从统一的视角对现有的防御机制进行系统回顾，通过将机器学习系统划分为预训练、训练、后训练、部署和推断等五个阶段，提出明确的分类法，以分析各个防御机制的机制、联系和差异，并激发未来研究开发更先进、全面的防御机制。

Dec, 2023

本章探索了机器学习（ML）中鲁棒性的基本概念及其在建立可信人工智能（AI）系统中的关键作用。讨论从详细定义鲁棒性开始，描绘了 ML 模型在各种意外环境条件下保持稳定性能的能力。通过不同视角剖析 ML 鲁棒性：与泛化能力的互补性，作为可信 AI 的要求，对抗性与非对抗性方面，定量评价指标，以及可重复性和可解释性等指标。本章深入探讨了影响鲁棒性的因素，如数据偏差、模型复杂性和不规范的 ML 流程的陷阱。从广泛的角度调查了鲁棒性评估的关键技术，包括对抗性攻击，包括数字和物理领域。它还涵盖了非对抗性数据转移和深度学习（DL）软件测试方法的细微差别。讨论进一步探索了增强鲁棒性的改进策略，从以数据为中心的方法如去偏和增强开始。进一步的研究包括各种以模型为中心的方法，如迁移学习、对抗训练和随机平滑等。最后，讨论了训练后方法，包括集成技术，修剪和模型修复，作为提高模型对不可预测因素的适应性的经济有效策略。本章强调现有方法对 ML 鲁棒性的估计和实现所面临的挑战和局限性，并为未来关于这一关键概念的研究提供了洞见和方向，作为可信 AI 系统的先决条件。

Apr, 2024

使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

Jan, 2024

该论文揭示了现有鲁棒性定义以及鲁棒性认证方法的一些局限性，并调查了除了与鲁棒性相关的对抗性例子之外的其他用途。

Dec, 2023

本研究引入了一个两人对弈的竞赛，用于评估机器学习系统的安全性和鲁棒性，针对非范数约束的对手进行研究。 防御方提交机器学习模型，试图在非对手数据上实现高准确性和覆盖率，并在对抗性输入上没有自信错误。 攻击者试图通过寻找任意的明确输入，在其高置信度下将错误标签分配给模型来破坏防御。 我们提出了一个简单的明确数据集（“鸟或自行车”）作为本竞赛的一部分。 我们希望这个竞赛能够帮助更全面地评估机器学习模型的最坏对抗风险。

Sep, 2018