本文针对分类器的测试攻击问题,引入了一种理论框架,类似于偏差 - 方差理论,并使用该框架对一种典型的非参数分类器 - k 最近邻分类器的鲁棒性进行了分析,并提出了一种新的修改的 1 最近邻分类器,其在大样本极限下具有良好的鲁棒性。
Jun, 2017
本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能,提出了逼近于 KNN 的 DNN 误差表达式,证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性,并说明了噪声越集中性能下降越明显的重要因素。
Mar, 2018
本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题,通过将 k-NN 算法与深度学习结合,提出了一种名为 DkNN 的混合分类器,它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明,DkNN 算法可以准确识别模型外部的输入,同时提供直观和有用的模型失败解释。
本文通过实证研究表明,在初步模型的 logit 层上实施简单的 k 近邻过滤方法能够去除错误标记的训练数据,比许多最近提出的方法产生更准确的模型,并提供了新的统计保证。
Apr, 2020
提出了一个基于神经网络中间层激活的 k - 最近邻(kNN)的防御机制来对抗对手样本,该方案在 MNIST 和 CIFAR-10 上的 l2 扰动上超过了最先进的防御措施,我们的模型在 MNIST 上是 3.07,CIFAR-10 为 2.3。此外,我们提出了一种简单的可辨认下界,该下界是在 Lipschitz 网络学习的表示的基础上,用 1-NN 实现的,我们的模型提供与其他具有类似准确度的 MNIST 的方案相当的平均下界。
Jun, 2019
本文探讨了一种结合了 k 最近邻算法和深度学习的模型 - Deep k-Nearest Neighbor(DkNN)来提高模型的抵抗 Adversarial Example 威胁,同时提出了一种基于梯度下降的攻击方法,能够有效地攻击 DkNN 模型。
Mar, 2019
该论文提出了一种改进的 K 近邻分类器,它可以自适应地为每个查询选择 K,该选择取决于每个邻域的属性,因此可能在不同点之间显着变化,并且可以利用条件概率推导推导出一些收敛界限。
May, 2019
本研究探讨了当输入数据在经过一些修改后变成对抗性样本时,非参数方法的鲁棒性。结果表明,数据分离较好时,最近邻和核分类器的鲁棒性是最优的,直方图则不是。对于普遍的数据分布,通过对抗裁剪预处理后使用最近邻或核分类器也能实现最优的鲁棒性。
Mar, 2020
研究在类别依赖的非对称标签噪声存在下的分类问题,提出了一种基于 Robust kNN 分类器的方法实现了纯净样本设定下的极小化最优率,同时提出了一种仅需少量假设的函数最大值估计方法。
该研究介绍了一种利用特征空间中训练样例的相似性,鼓励每个样例预测与其最近邻居相似的学习方法,用于从带有噪声标签的数据中学习,并且在多个数据集上展现出良好的分类精度。
Feb, 2022