机器学习算法的对抗性攻击是人工智能在很多实际应用中的主要障碍之一，通过在测试样本中引入微小和结构化的扰动，对高性能神经网络造成显著影响。本文在自然语言处理领域特别是文本分类任务中研究对抗性示例，探究了对抗性容易受到攻击的原因，特别是与模型固有维度的相关性。我们发现对抗性样本的嵌入维度与模型输入样本具有相同嵌入维度时的有效性之间存在很强的相关性，利用这种敏感性设计了一种对抗性防御机制。通过使用各种固有维度的集成模型来阻止攻击，我们在多个数据集上测试了其有效性。我们还研究了使用不同距离度量来衡量对抗性扰动的问题。对于所有上述研究，我们在具有不同维度的多个模型上进行了测试，并使用词向量级对抗性攻击来证实这些发现。

Apr, 2024

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

构建公平的深度神经网络是实现可信的人工智能的关键步骤。深入研究影响深度神经网络公平性的因素是减轻模型偏见的基础，但目前的方法在准确预测深度神经网络偏见方面存在局限性，仅依赖于训练样本数量并缺乏更精确的测量工具。在这里，我们建立了一个几何学视角来分析深度神经网络的公平性，全面探索了深度神经网络内部如何塑造数据集的本质几何特征 - 感知流形的本质维度和维度对深度神经网络公平性的影响。基于多项发现，我们提出了内在维度正则化（IDR）的方法，通过促进学习简洁而平衡的类别感知流形，增强模型的公平性和性能。在各种图像识别基准测试中，IDR 显著减轻模型偏见并改善其性能。

Apr, 2024

该研究使用傅里叶域的分析方法和特征图的相位和振幅识别方法，成功地区分了对抗示例和良性测试图片，并提出了两种新颖的对抗检测方法。

Mar, 2021

该研究旨在探究神经网络在面对针对性但难以察觉的图像扰动时的鲁棒性问题，发现鲁棒性问题与训练目标的输入梯度密切相关，不同网络拓扑的初始敏感度存在差异，输入维度增加时网络对扰动越加脆弱，且这一现象在正常或鲁棒训练后仍持续存在，但该问题可以通过增加规范化来得到缓解。

Feb, 2018

我们提出了两种对抗性攻击的概念：一个是可感知的攻击，另一个是不可感知的攻击，并且通过证明维度差对模型的鲁棒性和攻击强度有明确的联系。

Mar, 2024

本文通过研究表明，图像分类网络对于对抗性攻击的脆弱性与其性能之间是一种互相联系的关系，因为网络中最容易受攻击的输入图像方向也是它们用于实现其分类性能的方向。此外，这种关系对于构建既精确又具有抵抗对抗攻击能力的神经网络具有深远的影响。

Jul, 2018

通过对神经网络体系结构的图形研究，引入了一种新的从图形角度检测和解释对抗攻击的方法，并利用特定的度量来预测和解释对抗攻击。研究结果表明，基于图形的方法有助于研究对抗攻击的内部工作方式。

May, 2023

本文利用信息几何，提出了一种基于 Fisher 信息和一步谱攻击 (OSSA) 的深度学习模型易遭受对抗攻击的合理解释，并提出了具有较高效率和性能的对抗攻击和检测算法，这为研究对抗攻击和防御提供了一种有前途的途径。

Oct, 2018

该论文提出基于解释性的对抗样本检测技术，通过对神经元的双向对应推断来对抗样本进行检测，实验表明该方法在检测 7 种不同类型的攻击时能够达到 94% 的准确率， 误判率为 9.91%。

Oct, 2018