May, 2023

毒化攻击下的鲁棒非参数回归

PDF
TL;DR本文研究了强健的非参数回归问题，提出了一种基于 Huber 损失最小化的 M 估计器解决方法，证明了该方法对于恶意样本的影响显著减弱，同时提出了一种通过将初始估计投影到 Lipschitz 函数空间以解决在小区域内攻击样本的问题的纠正方法，并给出了其收敛速度和相应的 minimax 下限。
nonparametric regressionadversarial attackhuber lossconvergence ratelipschitz functions
发现论文，激发创造
  • 高维线性回归在 Lq - 球上的极小极大估计率

    本文研究了标准线性回归模型的极小极大收敛速度，证明在合适的设计矩阵正则化条件下，最小值误差在 $L_2$-，$L_{oldsymbol r}$- 损失和 $L_{oldsymbol 2}$- 预测损失内达到了收缩速度。同时，我们提供了 $L_{oldsymbol r}$- 范数的极小极大风险下限。

    Oct, 2009

  • 对异常数据鲁棒的回归的高效算法

    本文首次给出了一个多项式时间算法，用于在示例和标签中对抗性堕落下执行线性或多项式回归，并基于 SoS 方法提出了一种自然的凸松弛方法来解决非凸优化问题。

    Mar, 2018

  • 关于鲁棒线性回归的高效算法及下界

    研究了高维线性回归在对抗性污染下的稳健模型问题，并针对从高斯分布生成的未被修正的样本的基本情况给出了几乎最紧的上界和计算下界。

    May, 2018

  • 鲁棒线性回归：多项式时间内的最优速率

    本文提出了一种在数据为超收缩分布、存在不可避免的敌对噪声情况下，基于平方和框架的线性模型学习算法，该算法的收敛速度与扰动的比例成幂率关系，能达到理论最优收敛速度且在先前研究中未被发现。

    Jun, 2020

  • 当没有预警的异常值压倒时的连贯回归

    研究了具有重尾噪声分布的健壮线性回归模型，提出了 Huber 损失估计器，证明其在样本量近线性和异常值分数倒数多项式情况下具有一致性。

    Sep, 2020

  • 适当使用正则化超参数有助于缓解毒化攻击

    本文提出了一种新的攻击策略，从而使训练数据集的一部分被操纵，降低机器学习算法的性能，研究结果表明，现行的方法过于悲观，提出的新方法可以作出优化攻击策略，选择最佳正则化参数，以及在最坏情况下评估模型的鲁棒性，实验结果表明，采用 $L_2$ 正则化可以缓解攻击的影响。

    May, 2021

  • 利用 $\ell_1$ 惩罚的 Huber $M$ 估计器对稀疏线性模型进行异常值鲁棒性估计

    研究了在高斯设计和加性噪声的线性模型中，估计一个 p - 维 s - 稀疏向量的问题，证明当标签受到至多 o 个敌对异常数据的污染时，基于 n 个样本的 L1 惩罚 Huber's M - 估计量达到最优的收敛速率 (s /n)^ {1/2} +（o /n），更一般的设计矩阵结果强调了转移原则和无相干性质的重要性，并证明适当的常数加上这些属性可以实现最优的强鲁棒估计率，最高可达对数因子，具有敌对扰动。

    Apr, 2019

  • 近线性时间内的最优鲁棒线性回归

    研究了高维稳健线性回归问题，在受到对抗性破坏的情况下提出了估计方法，包括样本复杂度，恢复保证，运行时间等关键指标，并利用近期算法发展的加速算法和高斯舍入技术等方法来优化估计器的运行时间和统计样本复杂性。

    Jul, 2020

  • 干净标签攻击下的鲁棒学习

    本篇研究了在干净标签数据污染攻击下的强健学习问题，主要关注了攻击能力、PAC 样本复杂度以及线性分类器的不可信等方面。

    Mar, 2021

  • 快速自适应边界攻击生成最小扭曲的对抗样本

    本文提出了一种新的基于 $l_p$-norms 的白盒对抗攻击方法，通过最小化扰动的大小来改变特定输入的类别，这个方法具有几何直观性，是一种性能优越的攻击方法，比专门针对一个 $l_p$-norm 的攻击方法具有更好的鲁棒性，并且可以解决梯度掩盖的问题。

    Jul, 2019