通过传播协方差简化认证半径最大化
深度神经网络的现实应用受到噪声输入和对抗性攻击时的预测不稳定性的限制。本文介绍了一种基于随机平滑的框架,通过将噪声注入输入来获得平滑且更加鲁棒的分类器,并引入了一种不同的简单投影技术来增加认证半径,利用 Lipschitz 常数和边界的权衡。实验结果表明,与当前最先进的方法相比,我们的新型认证过程在认证准确性上取得了显著提高,有效改善了当前的认证半径。
Sep, 2023
本文提出了一种针对随机平滑后的分类器预测置信度的证明半径计算方法,利用平滑分布下预测置信度的概率分布信息,基于 Neyman-Pearson 引理,设计了一种计算置信度会高于某一阈值的证明半径估计方法,并在 CIFAR-10 和 ImageNet 数据集上实验表明,利用预测置信度的概率分布信息能够明显提升分类器的可证明鲁棒性。
Sep, 2020
神经网络的不确定性量化对于评估深度学习系统的可靠性和鲁棒性至关重要。本文提出了一种无样本的矩阵传播技术,通过在网络中传播均值向量和协方差矩阵来准确表征神经网络的输入 - 输出分布。我们的技术的一个关键因素是解析解,用于描述通过非线性激活函数(如 Heaviside、ReLU 和 GELU)传递的随机变量的协方差。在对已训练的神经网络和贝叶斯神经网络的输入 - 输出分布进行分析的实验证明了所提出技术的广泛适用性和优点。
Mar, 2024
本文提出 MACER 算法,学习鲁棒模型而无需使用对抗训练,适用于现代深度神经网络的广泛数据集,并比所有现有的可证明的 L2 防御性能更好。
Jan, 2020
在此研究中,我们提出了一种基于自适应认证半径训练的新方法,旨在在保持高标准准确性的同时,提高模型的鲁棒性和准确性,从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性,尤其在 CIFAR-10 和 TinyImageNet 上,与基准方法相比,我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。
Jul, 2023
通过考虑认证模型的潜在输出空间,本研究提出了两种改进认证机制分析的独特方法,可以提供数据集独立和数据集相关的认证性能度量,从而使认证半径相对于现有技术能够提高一倍以上。经验证,我们的新方法能够在噪声尺度 $σ = 1$ 下认证比以往多 9%的样本,并且随着预测任务的难度增加,观察到更大的相对改进。
Sep, 2023
该研究提出了一种框架,通过重新定义函数类来提高平滑分类器的认证安全区域,设计了高效、高可信度的估计器来计算相关统计信息,以实现比当前方法更大的认证安全区域,并且不需要使用数据相关的平滑技术。
Oct, 2020
通过在低维投影空间中执行随机平滑,我们能够表征在高维输入空间中的平滑复合分类器的认证区域并证明其体积的可行下界。我们在 CIFAR-10 和 SVHN 上进行了实验证明分类器在没有初始投影时容易受到正常与数据流形法线相交的扰动,并且这些扰动被我们的方法的认证区域捕捉到。我们将我们认证区域的体积与各种基准进行比较,并证明我们的方法在数量级上优于现有技术。
Sep, 2023
本研究发现了一种对具有证明鲁棒性的分类器构成威胁的数据污染攻击,并提出了一种新型双层优化数据污染攻击,可降低其整个目标类别的平均有保障半径(ACR),以及降低 30%以上的目标类别平均有保障半径(ACR)
Dec, 2020
通过训练替代 Monte Carlo 抽样的替代神经网络,提供随机平滑分类器的近乎精确的近似,加速鲁棒半径认证过程,克服了传统随机平滑方法中的计算瓶颈。
Feb, 2024