用最近邻居解释神经网络

EMNLPSep, 2018

Interpreting Neural Networks With Nearest Neighbors

Eric Wallace, Shi Feng, Jordan Boyd-Graber

TL;DR通过使用深度 K 近邻算法来改变神经网络的测试时间行为，本文提出了一种更健壮的不确定性度量，以生成特征重要性值，并使用这种解释方法来分析数据集注释人工制品上的模型预测。

Abstract

local model interpretation methods explain individual predictions by assigning an importance value to each input feature. This value is often determined by measuring the change in confidence when a feature is removed. However, the confidence of →

local model interpretation neural networks deep k-nearest neighbors uncertainty metric feature importance

发现论文，激发创造

神经网络解释易受伤

本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

Oct, 2017

深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

Mar, 2018

利用 k 近邻表示解释和改善模型行为

使用 kNN 表示法来解释 NLP 模型的预测结果，发现其除了具有解释性外，还能揭示学习到的虚假关联，发现存在错误标记的例子，并提高模型的性能和抵御对抗攻击的能力。

Oct, 2020

神经模型的病态使解释困难

通过 input reduction 方法研究了神经网络模型的缺陷，发现在面对异常数据时大多数模型都表现出困难并难以解释，提出了一种 fine-tuning 方法，通过提高模型的输出熵，增强模型的可解释性。

Apr, 2018

本地可解释的机器学习和人工智能：初步结果和未来方向

该论文介绍了如何结合 k 最近邻算法与信息论来解决机器学习模型复杂度与可解释性之间的矛盾，以实现全面审计的机器学习和人工智能技术

Jan, 2019

利用最近邻居改善分类器的决策边界

神经网络训练中，决策边界位于训练数据密度低的区域，受到少数训练样本的影响容易导致过度拟合；我们提供了一种简单的算法，通过对样本及其最近邻的预测（在潜在空间中计算）进行加权平均，以优化神经网络在标签噪声、对抗攻击、分类准确性等方面的性能。

Oct, 2023

解释模型预测方法所汇聚的出乎意料的一致性

本文提出了一种模型不可知的加性表示方法，用于解释复杂模型的预测结果，在视觉上提供了新颖的解释，该方法通过估算输入特征的重要性，将当前解释预测的方法统一。

Nov, 2016

本地朴素贝叶斯最近邻图像分类

本文提出了 Local Naive Bayes Nearest Neighbor 方法，以提高图像分类算法的准确性和拓展性，该方法将所有参考数据合并成一个搜索结构进行快速搜索，并证明此方法可在 Caltech 256 数据集上带来 100 倍的速度提升。同时，也将 NBNN 与空间金字塔方法进行了头对头比较。本文发现，Local NBNN 方法表现优于以往的 NBNN 方法和原始空间金字塔模型，但仍不及使用本地软分配和 max-pooling 的最先进空间金字塔方法。

Dec, 2011

基于距离的神经网络分类器置信度

本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

Sep, 2017

K-NN 和 DNN 的标签噪声抗性取决于其浓度

本研究着重研究了 KNN 和 DNN 在存在标记噪声的情况下的分类性能，提出了逼近于 KNN 的 DNN 误差表达式，证明了 DNN 在某些类型标签噪声情况下的惊人鲁棒性，并说明了噪声越集中性能下降越明显的重要因素。

Mar, 2018