面向实际分布偏移的认证鲁棒性

Jun, 2022

Toward Certified Robustness Against Real-World Distribution Shifts

Haoze Wu, Teruhiro Tagomori, Alexander Robey, Fengjun Yang, Nikolai Matni...

TL;DR本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

Abstract

We consider the problem of certifying the robustness of deep neural networks against real-world distribution shifts. To do so, we bridge the gap between hand-crafted specifications and realistic deployment settin

neural networks verification framework generative model sigmoid activation distribution shifts

发现论文，激发创造

对于分布转移下的对抗鲁棒性的通用性

本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响，并发现两种鲁棒性均适用于未知的数据域。同时我们也证明，在医学应用中，对抗性增强显著提高了鲁棒性的泛化能力，对数据准确性影响不大。

Sep, 2022

为深度神经网络认证全局稳健性

通过利用 PAC 验证框架和统计方法，本研究提出了一种对深度神经网络进行全局鲁棒性评估和验证的高效方法，该方法在评估全局鲁棒性的同时能够有效地找出稀有和多样化的对抗训练的反例。

May, 2024

图像分类模型自然分布偏移鲁棒性测量

本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

Jul, 2020

基于模型的鲁棒深度学习：泛化到自然的离群数据

文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式，并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法，实验表明，该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。

May, 2020

卷积神经网络的强健性和可迁移性研究

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

优化与抽象：一种协同分析神经网络鲁棒性的方法

本文提出了一种用于验证神经网络鲁棒性的新算法 Charon，并通过实验评估其在数百个基准测试中显著优于 AI^2，Reluplex 和 Reluval 等三种最先进的工具。

Apr, 2019

具分布鲁棒性的不精确神经网络统计验证

为高维自主系统提供行为保证是人工智能安全领域中的一个特别具有挑战性的问题。本文提出了一个基于主动学习、不确定性量化和神经网络验证的新方法，其中的核心是一种称为不精确神经网络的集成技术，它提供了用于引导主动学习的不确定性。通过在多个物理模拟器上对经过增强学习的控制器进行评估，证明了我们的方法可以为高维系统提供有用且可扩展的保证。

Aug, 2023

稳健性的多重面貌：对于越界泛化的关键分析

本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

Jun, 2020

CC-Cert: 一种概率方法来证明神经网络的普适鲁棒性

本文提出了一种基于 Chernoff-Cramer Bounds 的新型通用概率认证方法，可以用于对抗性攻击环境下的机器学习应用。实验结果支持了我们的理论发现，证明了我们的方法对于语义扰动具有防御能力。

Sep, 2021

通过有原则的对抗训练证明一些分布鲁棒性

利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题，通过在 Wasserstein ball 内惩罚扰动数据分布的方式，通过我们提出的训练过程，能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性，同时具有较小的计算和统计成本，并且我们的统计保证使我们能够有效地验证整体损失的健壮性，对于感知扰动，我们的方法与启发式方法相匹配或更好。

Oct, 2017