gRoMA：测量深度神经网络全局鲁棒性的工具

Jan, 2023

gRoMA：测量深度神经网络全局鲁棒性的工具

gRoMA: a Tool for Measuring Deep Neural Networks Global Robustness

Natan Levy, Raz Yerushalmi, Guy Katz

TL;DR该论文介绍了一种名为 gRoMA 的新型可扩展工具，运用统计方法来形式化衡量 DNN 的全局分类稳健性 —— 即特定输出类别遇到对抗性输入的随机概率，并测试了其在 CIFAR10 数据集上的可扩展性和应用潜力，结果发现在不同输出类别上 DNN 的抗扰能力差异显著。

Abstract

deep neural networks (DNNs) are a state-of-the-art technology, capable of outstanding performance in many key tasks. However, it is challenging to integrate DNNs into safety-critical systems, such as those in the

deep neural networks safety-critical systems adversarial inputs categorial robustness groma

发现论文，激发创造

为深度神经网络认证全局稳健性

通过利用 PAC 验证框架和统计方法，本研究提出了一种对深度神经网络进行全局鲁棒性评估和验证的高效方法，该方法在评估全局鲁棒性的同时能够有效地找出稀有和多样化的对抗训练的反例。

May, 2024

大规模神经网络几何鲁棒性的验证

研究通过 GeoRobust 在深度神经网络上实现几何变换的鲁棒性分析，并提供了基于 Lipschitz 理论的最坏情况变换证明保证。我们还发现，在 ImageNet 分类器上，增加深度比增加宽度更有益于提高网络的几何鲁棒性。

Jan, 2023

DeepSafe: 基于数据驱动的神经网络对抗鲁棒性检测方法

本文提出了一种利用聚类方法自动识别神经网络输入空间安全区域的方法，并借助验证技术来确认这些区域是否安全或提供不安全的反例，并引入了目标鲁棒性的概念，以确保神经网络不会将任何输入映射到目标标签，利用 MNIST 数据集以及控制下一代无人机避撞系统的神经网络实施的空中碰撞预防系统（ACAS Xu）进行验证。

Oct, 2017

使用 Z3 进行 FNN 全局鲁棒性的形式建模和验证

本篇论文提出了一种称之为 DeepGlobal 的全局稳健性验证框架，通过利用 SMT 求解器 Z3 进行实现并进行多重改进，来评估该框架在一系列基准数据集上的有效性和可行性。

Apr, 2023

探索神经模型分类鲁棒性的精确观察

深度学习和鲁棒性在安全关键应用中的测评方法以及概率鲁棒性的权衡和使用条件进行了比较分析，提出了一种基于假设检验的直观实用测量标准，并将其整合到 TorchAttacks 库中，为对模型鲁棒性的理解做出了贡献。

Apr, 2024

PRoA：一种针对功能扰动的概率稳健性评估方法

本文提出一种新的概率鲁棒性评估方法 (PR0A)，用于测量深度学习模型对功能扰动的鲁棒性，可以提供模型失败的概率性保证。该方法在实际中具有较高的效力和灵活性，并且相比于已有的基准线，它可以与各种大规模深度神经网络进行良好的扩展。

Jul, 2022

深度网络的几何鲁棒性：分析与提升

本文提出了一种简单且可扩展的算法 ManiFool，用于测量深度神经网络对于几何变换的不变性，进而提出了一种新的对抗训练方案以提高深度神经网络的不变性。

Nov, 2017

神经网络全局鲁棒性验证

本研究提出了一种全局鲁棒性验证方法，用于确定网络分类器不改变其分类的情况，通过利用依赖关系和对未知输入进行的对抗性攻击，该验证方法相较于现有的验证方法在计算精确度和速度方面有显著提升。

Feb, 2024

神经网络健壮性的因果视角

本论文提出了一种基于因果关系视角的神经网络输入鲁棒性分析方法，提出了深度因果操纵增强模型（CAMA），解决了单因素影响的问题，并采用了数据增强和测试时间微调方法以提升模型鲁棒性。相较于基于判别模型的深度学习神经网络，该模型表现出了更好的抵抗未知操纵攻击的能力，并成功实现了操纵信息与其他潜在因素的解耦合表示。

May, 2020

探索深度神经网络中的异常表示

这篇论文介绍了 DORA（Data-agnOstic Representation Analysis）框架，它利用网络内部的自我解释能力，提出了一种新的距离度量方法，对 DNNs 的表示空间进行了数据无关的分析。通过这个度量方法，可以检测到可能存在风险的异常表示，该方法最终应用于分析并识别了广受欢迎的计算机视觉模型中的人工异常表示。

Jun, 2022