经验测量浓度:内在稳健性的基本极限
通过理论分析、提出半空间方法,更加有效地测量数据集的浓缩程度,从而得到更紧密的原始鲁棒性下限,并证明这些更紧密的下限进一步排除了基于数据集浓缩的假说,该假说被认为是解释现有分类器使之易受到对抗攻击的可能原因。
Mar, 2021
现代机器学习分类器对于对抗性样本的易受攻击性已经引起了理论结果的关注,这些结果可能过于一般化以至于不适用于自然数据分布。本研究在理论上证明了数据分布的一个关键特性 —— 对输入空间的小体积子集的集中程度 —— 决定了是否存在健壮的分类器,并进一步证明,对于集中在低维线性子空间的联合上的数据分布,利用数据结构自然地导致享有良好健壮性保证的分类器,改进了某些方案的可证明认证方法。
Sep, 2023
研究使用经验风险最小化解决预测和估计问题,针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下,例如在重尾场景中,我们也可以获得尖锐的误差率。我们的结果表明,误差率取决于两个参数:一个捕捉类别的内在复杂性,以实质上在无噪声(或可实现)问题中导致误差率;另一个衡量类成员之间的交互、目标和损失,并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。
Oct, 2014
该论文在运输距离中建立了多个独立变量经验测量的一些定量浓度估计。作为应用,我们为模型均场问题中的粒子模拟提供了一些误差界限。工具包括耦合论证,以及某些扩散偏微分方程解的正则性和矩估计。
Mar, 2005
本研究探讨了使用自然低秩表示训练神经网络以提高分类器对抗干扰抵抗力的效果,并提出了一种基于乘法权重更新方法且具有可证明保证的快速算法,以使得网络对于特定类型的干扰具有认证的鲁棒性。
Jul, 2020
通过对局部化数据分布的理解,提出了一种基于几何形态的简单分类器 Box-NN,并在 MNIST 和 Fashion-MNIST 数据集上取得了对于稀疏攻击的认证稳健性方面的最新研究成果。
May, 2024
本文介绍了一种基于 Wasserstein 距离的统一方法,用于两类广泛定义的风险度量的经验估计的集中界限,其中提出的风险度量类包括 CVaR、谱风险度量、CPT 值、偏差风险度量等。
Feb, 2019
通过小球假设,本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下,对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例,并且当应用于经典的有限场景时总是会改善已知的边界。
Jan, 2014
该论文探讨了一种称为 “测度集中现象” 的现象,通过等周型不等式和 “接近” 三种主要定义方式,证明了相关不等式,凸显了这种简单方法不仅在质量上获得了最优结果,在许多情况下也捕捉到了近乎最优的数值常数,并在感知、几何概率和巴纳赫空间中提供了具体应用。
Jun, 1994