对抗鲁棒高斯分类具有尖锐的统计保证

ICMLJun, 2020

对抗鲁棒高斯分类具有尖锐的统计保证

Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification

Chen Dan, Yuting Wei, Pradeep Ravikumar

TL;DR本篇论文提出的高斯混合模型广义对抗信噪比概念下，对于对抗鲁棒分类的超额风险给出了最优极小 / 极大保证，并且建立了达到最优风险下界的计算有效估计量。

Abstract

adversarial robustness has become a fundamental requirement in modern machine learning applications. Yet, there has been surprisingly little statistical understanding so far. In this paper, we provide the first result of the optimal minimax guarantees for the excess risk for adversaria

adversarial robustness machine learning classification gaussian mixture model adversarial signal-to-noise ratio

发现论文，激发创造

对于随机平滑分类器的严格对抗鲁棒性证明

采用输入随机化生成的分类器的集合可以具有很强的鲁棒性，该方法可扩展到更广泛的分布，特别是在离散情况下保证敌对的鲁棒性，并给出了相应的算法，此外，该研究有助于通过假设分类器的函数类来提高保证，并且具有图像和分子数据集上的实际应用。

Jun, 2019

丢失模型下敌对过量风险的非渐近边界

我们提出了一种通用方法来评估基于对抗损失的鲁棒估计在错误模型下的性能，并研究了对抗估计器的泛化性能。

Sep, 2023

鲁棒在线分类：从估计到去噪

在存在噪音标签的情况下，我们研究了在线分类问题。通过一般的核来建模噪音机制，为任何特征 - 标签对指定了一个（已知）噪音标签分布集合。每个时间步骤，对手根据实际的特征 - 标签对从核指定的分布集合中选择一个未知分布，并根据所选分布生成噪音标签。学习者根据迄今为止观察到的实际特征和噪音标签进行预测，如果预测与真实情况不同，则遭受损失 1（否则为 0）。预测质量通过计算有限时间视野 T 上的极小化风险来量化。我们证明了对于广泛的自然噪音核、对手选择的特征和有限类别的标记函数，极小化风险可以上界独立于时间视野并以标记函数类别尺寸的对数形式增长。然后，我们通过随机顺序覆盖的概念将这些结果推广到无限类别和随机生成的特征。我们的结果通过对在线条件分布估计的新颖归约提供了直观理解，并且扩展并包含了 Ben-David 等人（2009）的研究结果，具有显著的广泛性。

Sep, 2023

对抗风险的多种表现

本文通过应用最优传输、鲁棒统计、泛函分析和博弈理论等技术工具，重审了 adversarial risk 的定义并探究了其与 adversarial robustness 的等价关系，证明了在对抗分类问题中存在纯 Nash 均衡，并通过最小化两个分布在无限 - Wasserstein 不确定性集之间的贝叶斯误差来描述 adversarial risk。

Jan, 2022

随机分类器对抗性样本的鲁棒性

本文研究了对抗攻击的鲁棒性理论，聚焦于随机化分类器并通过统计学习理论和信息论提供了其行为的彻底分析。我们引入了随机化分类器的新鲁棒性概念，在此基础上进行了两项新的贡献：提出了一种新的随机化分类器对抗泛化间隙的上界限和对其进行了一种简单而有效的噪声注入方法来设计鲁棒的随机化分类器。我们还在 CIFAR-10 和 CIFAR-100 标准图像数据集上使用深度神经网络的实验结果证实了我们的发现。

Feb, 2021

随机平滑实现认证的对抗鲁棒性

论文介绍了如何通过随机光滑化技术来提高分类器对抗扰动的鲁棒性，使用该方法得到的 ImageNet 分类器在扰动范围小于 0.5 的情况下，具有 49％的认证准确率，并且该方法在获得更高的认证准确率方面比其他方法更具优势。

Feb, 2019

具有最优性保证的对抗鲁棒聚类

本文提供了一种新的算法，针对子高斯混合数据，能够在存在异常值的情况下，获得最佳错误率的相对较强聚类结果。

Jun, 2023

经验熵、最小化后悔和最小化风险

关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

Aug, 2013

高斯过程在分类中的对抗性鲁棒性保证

本文研究了高斯过程分类模型的对抗鲁棒性，提出了一种计算 GPC 在输入空间中最小和最大分类概率的算法，并应用于 2D 合成数据集、SPAM 数据集和 MNIST 数据集的验证，表明我们的方法可用于 GPC 的可解释性分析和提高模型鲁棒性。

May, 2019

正交统计学习

研究提出了一种基于样本拆分的元算法，该算法的输入为目标参数和干扰参数的估计算法，并且在 “Neyman 正交性” 条件下，通过这个元算法可以在更弱的假设条件下，提供干扰成分存在时的额外风险保证，同时考虑到干扰参数估计误差对于超额风险边界的影响仅仅是二阶的，具有很好的灵活性。

Jan, 2019