Oct, 2023

利用最近邻居改善分类器的决策边界

PDF
TL;DR神经网络训练中，决策边界位于训练数据密度低的区域，受到少数训练样本的影响容易导致过度拟合；我们提供了一种简单的算法，通过对样本及其最近邻的预测（在潜在空间中计算）进行加权平均，以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。
发现论文，激发创造
  • 深度神经网络的决策边界研究：实证研究

    深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

    Feb, 2020

  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 调整决策边界用于类别不平衡学习

    本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

    Dec, 2019

  • AdvisingNets：通过最近邻解释学习区分正确和错误分类

    通过使用 AdvisingNet 和一种新的重新排序算法，将输入图像与事后最近邻解释进行比较，本文旨在提高图像分类准确性，同时提高人工智能团队和分类器的准确性。

    Aug, 2023

  • 探究已训练神经网络的决策边界

    通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

    Aug, 2019

  • 深度神经网络分类区域

    本文研究了深度神经网络在输入空间中的几何属性，通过系统实证研究发现，深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的，同时该文进一步证明了深度神经网络曲率决策边界的本质联系，最终提出了一种基于决策边界曲率的小型对抗样本检测方法。

    May, 2017

  • 邻域正则化自训练在少标签学习中的应用

    本文提出了一种利用相似标签样本选择的自训练深度神经网络的方法，可有效降低错误伪标签产生的噪声影响，并均衡自训练过程性能提高和时间效率优化的关系。

    Jan, 2023

  • K-NN 和 DNN 的标签噪声抗性取决于其浓度

    本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能，提出了逼近于 KNN 的 DNN 误差表达式，证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性，并说明了噪声越集中性能下降越明显的重要因素。

    Mar, 2018

  • 紧紧抱住我！辨别特征对深度网络边界的影响

    通过在反向鲁棒性领域借鉴工具并提出一种新视角，本文关注了神经网络决策边界的特性，研究表明神经网络对非判别特征具有高度不变性，其决策边界必须在训练分类器中采用某些特征才能存在，并且决策边界的构建对训练样本的微小扰动极其敏感。

    Feb, 2020

  • 邻域发现的无监督深度学习

    本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

    Apr, 2019