Mar, 2018

深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

PDF
TL;DR本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。
deep neural networksadversarial settingsdeep k-nearest neighborsinterpretabilitymodel failures
发现论文，激发创造
  • 深度 K 最近邻模型的鲁棒性

    本文探讨了一种结合了 k 最近邻算法和深度学习的模型 - Deep k-Nearest Neighbor（DkNN）来提高模型的抵抗 Adversarial Example 威胁，同时提出了一种基于梯度下降的攻击方法，能够有效地攻击 DkNN 模型。

    Mar, 2019

  • 本地可解释的机器学习和人工智能：初步结果和未来方向

    该论文介绍了如何结合 k 最近邻算法与信息论来解决机器学习模型复杂度与可解释性之间的矛盾，以实现全面审计的机器学习和人工智能技术

    Jan, 2019

  • 使用影响力函数和最近邻居检测对抗样本

    本文提出了一种针对深度神经网络的对抗攻击的检测方法，使用影响函数来测量每个训练样本对于验证集数据的影响力，并通过在激活层上拟合 k-NN 模型来寻找最有支持性的训练样本，最后使用 k-NN 排名和距离训练一个对抗检测器成功地区分了六种攻击方法和三个数据集的对抗样本，取得了最先进的结果。

    Sep, 2019

  • K-NN 和 DNN 的标签噪声抗性取决于其浓度

    本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能，提出了逼近于 KNN 的 DNN 误差表达式，证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性，并说明了噪声越集中性能下降越明显的重要因素。

    Mar, 2018

  • 使用 K 最近邻防御对抗性例子

    提出了一个基于神经网络中间层激活的 k - 最近邻（kNN）的防御机制来对抗对手样本，该方案在 MNIST 和 CIFAR-10 上的 l2 扰动上超过了最先进的防御措施，我们的模型在 MNIST 上是 3.07，CIFAR-10 为 2.3。此外，我们提出了一种简单的可辨认下界，该下界是在 Lipschitz 网络学习的表示的基础上，用 1-NN 实现的，我们的模型提供与其他具有类似准确度的 MNIST 的方案相当的平均下界。

    Jun, 2019

  • DNNR: 差分最邻近回归

    本研究提出一种名为 Differential Nearest Neighbors Regression (DNNR) 的新方法，通过在训练期间估计局部梯度并在推断期间使用估计的梯度执行 n 阶泰勒逼近。在超过 250 个数据集的大规模评估中，我们发现，DNNR 在保持 KNN 的简单性和透明度的同时，表现与最先进的梯度提升方法和 MLP 相当，允许我们导出理论误差界并检查失败，从而在需要 ML 模型透明度的时代提供了绩效和可解释性之间的良好平衡。

    May, 2022

  • 深度最近邻异常检测

    该研究探讨在使用 Imagenet 预训练特征空间的情况下，最近的自我监督深度方法是否确实优于最近邻方法进行异常检测。通过实验证明，仅使用简单的最近邻方法在准确度，few shot 泛化，训练时间和噪声稳健性方面均优于自我监督方法，同时在图像分布方面做出较少的假设。

    Feb, 2020

  • 最近邻抵抗随机噪声标签

    通过研究在随机噪声情况下的 k - 最近邻（k-NN）一致性，提出了一种鲁棒的 k-NN 方法 (RkNN)，在处理噪声标签时具有一定的纠错和分类能力。

    Jul, 2016

  • 用最近邻居解释神经网络

    通过使用深度 K 近邻算法来改变神经网络的测试时间行为，本文提出了一种更健壮的不确定性度量，以生成特征重要性值，并使用这种解释方法来分析数据集注释人工制品上的模型预测。

    Sep, 2018

  • 利用最近邻居改善分类器的决策边界

    神经网络训练中，决策边界位于训练数据密度低的区域，受到少数训练样本的影响容易导致过度拟合；我们提供了一种简单的算法，通过对样本及其最近邻的预测（在潜在空间中计算）进行加权平均，以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。

    Oct, 2023