超解释揭示图像分类模型的病态

Mar, 2020

Overinterpretation reveals image classification model pathologies

Brandon Carter, Siddhartha Jain, Jonas Mueller, David Gifford

TL;DR该研究发现，高得分的卷积神经网络在流行的基准测试中显示出令人担忧的病理现象，使它们即使在缺乏语义明显特征的情况下也能显示高准确度，这被称为过度解释其输入。研究提出了一种新的方法来发现复杂数据集的足够输入子集，并使用该方法显示 ImageNet 中边缘像素的足够性进行训练和测试，结果表明集成学习和输入 dropout 可以缓解过度解释现象。

Abstract

image classifiers are typically scored on their test set accuracy, but high accuracy can mask a subtle type of model failure. We find that high scoring convolutional neural networks (CNNs) on popular benchmarks e

convolutional neural networks overinterpretation image classifiers pathologies input features

发现论文，激发创造

ConvNets 和 ImageNet 超越准确性：理解错误和揭示偏见

本研究从人类参与和解释性的角度出发，探究了 ConvNets 和 Imagenet 在图像分类上的性能、鲁棒性和偏差问题，并以实验和工具提出了解释作为改善模型可靠性和理解性的有效手段。

Nov, 2017

神经网络解释易受伤

本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

Oct, 2017

大型图像数据集中的可解释性发现

该研究提出了一种新方法，将新颖性检测与 CNN 图像特征相结合，用于在大型数据集中快速发现新的，有趣的，不同寻常或异常的图像，并提供可解释的解释。

Jun, 2018

神经模型的病态使解释困难

通过 input reduction 方法研究了神经网络模型的缺陷，发现在面对异常数据时大多数模型都表现出困难并难以解释，提出了一种 fine-tuning 方法，通过提高模型的输出熵，增强模型的可解释性。

Apr, 2018

通过内省检测神经网络中的对抗样本和其他分类错误

通过在预训练的神经网络的 logits 上再训练一个简单的 3 层神经网络，我们能够竞争性地检测出分类错误，从而解决现代神经网络无法提供可靠置信值的问题（也就是所谓的敌对样本问题和过度自信问题）的局限性。

May, 2019

适当的网络可解释性有助于分类的对抗鲁棒性

通过在 MNIST、CIFAR-10 和 Restricted ImageNet 上进行实验，本文在理论上证明了防止预测侵蚀性对抗攻击导致解释差异的正确解释度量是很困难的，并开发了一种仅基于促进稳健解释的解释敏感的防御方案。与对抗训练方法相比，在对大扰动攻击的抵抗中，本文的防御方法实现了稳健分类和稳健解释，表现优于最先进的对抗训练方法。

Jun, 2020

类别不平衡下神经网络的过拟合：分割任务的分析和改进

本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。

Jul, 2019

关于可证实解释性研究的探索

本文介绍了深度神经网络的可解释性研究及其方法，指出目前的方法存在的局限和风险，并提出了以可证伪性为核心的新的研究框架，目的是为了产生更具意义和可靠的可解释性方法。

Oct, 2020

深度学习中的可证明鲁棒解释

本研究提出了一种用于解释深度学习的可靠技术，并证实该方法对付对抗性攻击具有可靠性。

May, 2019

现实中的深度学习可能不容易适应

研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象，并发现对于在 ImageNet 数据集上训练 ResNet 模型等任务，模型不会温和拟合。在这个较轻的过参数化设置下，我们的分析确定了一种新现象：在标签噪声存在的情况下，温和过拟合可能会失败。此外，我们的工作强调了理解欠拟合环境中的隐式偏差作为未来方向的重要性。

Jun, 2022