May, 2024

RS-Reg：随机平滑的概率性和稳健回归认证

PDF
TL;DR通过定义回归任务中的鲁棒性，灵活地通过概率，我们展示了如何为用户指定的观察到有效输出的概率建立输入数据点扰动（使用 $l_2$ 范数）的上界。我们还展示了在回归模型无约束操作的情况下，基本的平均函数的渐近特性。在处理输出有界的回归模型族时，我们导出了输入扰动的认证上界。我们的模拟验证了理论结果的有效性，并揭示了简单平滑函数（例如平均）在回归任务中的优势和局限性。
发现论文，激发创造
  • 平滑分类器保证鲁棒性的一致性正则化

    研究表明随机平滑是一种有效的提高深度神经网络分类器准确度和 L2 / 高斯稳健性能的方法，并且在实验中也通过该方法显著地改善了已有的高斯稳健性能模型的准确性。

    Jun, 2020

  • 投影随机平滑实现认证对抗鲁棒性

    通过在低维投影空间中执行随机平滑，我们能够表征在高维输入空间中的平滑复合分类器的认证区域并证明其体积的可行下界。我们在 CIFAR-10 和 SVHN 上进行了实验证明分类器在没有初始投影时容易受到正常与数据流形法线相交的扰动，并且这些扰动被我们的方法的认证区域捕捉到。我们将我们认证区域的体积与各种基准进行比较，并证明我们的方法在数量级上优于现有技术。

    Sep, 2023

  • 多扰动界内认证的对抗鲁棒性

    本篇论文提出了一种新的证明方案来提高对不同扰动边界的认证鲁棒性，并通过提出一种新的训练噪声分布和正则化训练方案，同时改善了对于 l1 和 l2 扰动规范的认证，并在 ACR 指标上实现了改进。

    Apr, 2023

  • 随机平滑用于稳健性保证的扩展和限制

    通过随机平滑来证明分类器决策对于对抗性噪声不变，同时对噪声稳健性的保证受到多种因素的影响，例如平滑度量之间的差异和拟合威胁模型的选择。此外，该研究证明随着 p 的增加，随机平滑受到了维度诅咒的影响。

    Jun, 2020

  • 随机平滑中的统计估计问题的处理方法对抗鲁棒性

    通过采用置信区间与较少样本的统计估计方法，我们提供了一种新的方法来解决随机平滑中的计算负担，从而在标准方法中获得相同的统计保证。同时我们提出了一个随机版本的 Clopper-Pearson 置信区间，证明了这种方法的效果明显更好。

    Jun, 2024

  • 基于平均不确定性的鲁棒回归

    我们提出了一种新的鲁棒回归的表述，通过整合不确定性集的所有实现并采用平均方法来获得普通最小二乘回归问题的最优解。我们证明了这个表述意外地恢复了岭回归，并在现有回归问题的鲁棒优化和均方误差方法之间建立了缺失的联系。我们首先证明了四种不确定性集的等价性：椭圆、盒子、钻石和预算，并提供了惩罚项的闭式表达方式，其是样本大小、特征大小以及扰动保护强度的函数。然后我们展示了在具有不同扰动水平的合成数据集中，平均表述比现有最坏情况表述在样本外性能上的一致改进。重要的是，随着扰动水平的增加，改进也增加，这证实了我们方法在高噪声环境中的优势。我们对从 UCI 数据集获得的真实回归问题的样本外数据集中报告了类似的改进。

    Nov, 2023

  • 通过随机平滑技术进行置信度认证

    本文提出了一种针对随机平滑后的分类器预测置信度的证明半径计算方法，利用平滑分布下预测置信度的概率分布信息，基于 Neyman-Pearson 引理，设计了一种计算置信度会高于某一阈值的证明半径估计方法，并在 CIFAR-10 和 ImageNet 数据集上实验表明，利用预测置信度的概率分布信息能够明显提升分类器的可证明鲁棒性。

    Sep, 2020

  • 可证明鲁棒性的随机平滑分类器的规则化训练和紧密认证

    本文研究了如何通过正则化风险函数以提高深度神经网络的准确性和稳健性，并提出了一种新的认证算法，能够对 CIFAR-10 和 ImageNet 数据集中的深度神经网络提供更严格的稳健性保证。

    Feb, 2020

  • 基于随机平滑的黑盒认证：一种基于函数优化的框架

    通过一种新的框架，使用非高斯噪声和更广泛类型的攻击来实现在深度学习中的认证鲁棒性，并且比之前的方法提供更好的认证结果和新的随机平滑方法的视角。

    Feb, 2020

  • 随机平滑在受攻击环境下的实际效果如何？

    本研究发现随机平滑在理论认证与实践中保护分类器免受黑盒攻击的设置存在差异，对 RS 进行攻击会导致认证的鲁棒性下降且分类器准确度降低。

    Apr, 2022