通过学习平滑的密度函数实现可证明的鲁棒分类

May, 2020

通过学习平滑的密度函数实现可证明的鲁棒分类

Provable Robust Classification via Learned Smoothed Densities

Saeed Saremi, Rupesh Srivastava

TL;DR通过利用神经网络逼近高斯核的能量函数并借此在随机噪声下进行稳健分类问题，本文提出了经验贝叶斯平滑分类器并在随机平滑框架下进行了理论研究，并在 MNIST 数据集上进行了测试，通过对抗训练和以所学平滑密度为基础的走 - 跳采样，实现了比经验防御更高的稳健性能。

Abstract

Smoothing classifiers and probability density functions with gaussian kernels appear unrelated, but in this work, they are unified for the problem of robust classification. The key building block is approximating the $\textit{energy function}$ of the random variable $Y=X+N(0,\sigma^2 I

robust classification gaussian kernels empirical bayes smoothed classifiers randomized smoothing adversarial training

发现论文，激发创造

通过对抗训练平滑分类器实现可证明健壮的深度学习

本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

Jun, 2019

神经经验贝叶斯

本文提出了一种结合核密度估计和经验贝叶斯方法的新的非监督学习目标，并把优化问题抽象成为高维球体的交互。基于这一机制我们提出了两种新的算法框架：基于 Langevin MCMC 和经验贝叶斯的 “步进 - 跳跃” 采样方案和一个概率框架用于联想记忆，称为 NEBULA。

Mar, 2019

随机平滑实现认证的对抗鲁棒性

论文介绍了如何通过随机光滑化技术来提高分类器对抗扰动的鲁棒性，使用该方法得到的 ImageNet 分类器在扰动范围小于 0.5 的情况下，具有 49％的认证准确率，并且该方法在获得更高的认证准确率方面比其他方法更具优势。

Feb, 2019

可证明鲁棒性的随机平滑分类器的规则化训练和紧密认证

本文研究了如何通过正则化风险函数以提高深度神经网络的准确性和稳健性，并提出了一种新的认证算法，能够对 CIFAR-10 和 ImageNet 数据集中的深度神经网络提供更严格的稳健性保证。

Feb, 2020

平滑分类器保证鲁棒性的一致性正则化

研究表明随机平滑是一种有效的提高深度神经网络分类器准确度和 L2 / 高斯稳健性能的方法，并且在实验中也通过该方法显著地改善了已有的高斯稳健性能模型的准确性。

Jun, 2020

基于随机平滑的黑盒认证：一种基于函数优化的框架

通过一种新的框架，使用非高斯噪声和更广泛类型的攻击来实现在深度学习中的认证鲁棒性，并且比之前的方法提供更好的认证结果和新的随机平滑方法的视角。

Feb, 2020

投影随机平滑实现认证对抗鲁棒性

通过在低维投影空间中执行随机平滑，我们能够表征在高维输入空间中的平滑复合分类器的认证区域并证明其体积的可行下界。我们在 CIFAR-10 和 SVHN 上进行了实验证明分类器在没有初始投影时容易受到正常与数据流形法线相交的扰动，并且这些扰动被我们的方法的认证区域捕捉到。我们将我们认证区域的体积与各种基准进行比较，并证明我们的方法在数量级上优于现有技术。

Sep, 2023

SmoothMix: 训练置信度校准的平滑分类器，实现可靠鲁棒性

本研究提出了一种名为 SmoothMix 的简单培训方案，可通过自我混合控制平滑分类器的鲁棒性

Nov, 2021

通过随机平滑实现可证明稳健的代价敏感学习

我们研究了在成本敏感场景中学习对抗鲁棒分类器的问题，通过一个二进制成本矩阵编码不同分类的敌对转换的潜在危害。我们提出了一种能够为任意成本矩阵提供严密鲁棒性保证的改进版随机平滑认证方法，并使用针对不同数据子组的细粒度认证半径优化方案，提出了一种优化成本敏感鲁棒性的平滑分类器训练算法。我们在图像基准测试和现实世界医学数据集上的大量实验证明了我们方法在实现显著改善认证成本敏感鲁棒性性能的同时，对整体准确性的影响可以忽略不计。

Oct, 2023

对于随机平滑分类器的严格对抗鲁棒性证明

采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

Jun, 2019