本研究从人类参与和解释性的角度出发，探究了 ConvNets 和 Imagenet 在图像分类上的性能、鲁棒性和偏差问题，并以实验和工具提出了解释作为改善模型可靠性和理解性的有效手段。

Nov, 2017

为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

Oct, 2023

该论文探讨了神经网络架构在解决视觉任务时存在的局限性，与人类学习抽象概念的策略不同。研究利用一组新的图像转换方法，对人类和网络在对象识别任务上进行了评估，发现常见网络的性能迅速下降，而人类能够以高精度识别对象。

May, 2022

研究了机器学习模型在处理未见过的样本时对输入的因素变化产生可预测响应的归纳偏差，并发现训练数据本身是形成这种不变性的主要来源。同时，针对数据的变化，研究表明标准数据增强依赖于平移和尺度的精确结合，而其使用的变换方法并不能完全解释真实数据的变化。

Jun, 2021

对深层模型在 ObjectNet 数据集上的表现及其在各种数据变化下的鲁棒性进行了研究，并发现将深层模型应用于对象而不是整个场景会显著改善性能，并且将对象区域限制在较小的范围内可提高准确性和鲁棒性。

Mar, 2021

本文通过在 ImageNet 数据集中进行模型调试，探索模型对不同物体属性的敏感性，并创建了一个对象编辑工具包和基准测试 ImageNet-E，以评估图像分类器的鲁棒性。研究发现大多数深度学习模型对属性更改敏感，背景的微小变化可以导致平均准确率下降 9.23％。此外，研究还发现某些健壮性模型针对属性更改的鲁棒性不如基线模型，并提供了改善属性鲁棒性的方法。

Mar, 2023

使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

Jul, 2019

通过人工研究这项工作研究了采用众包数据收集管道构建丰富的机器学习数据集的后果，重点关注了流行的 ImageNet 数据集，在 ImageNet 创建过程中特定的设计选择如何影响所得到的数据集的保真度，以及噪声数据收集管道如何导致所得基准与其代理真实世界任务之间存在系统性偏差。最后，发现需要扩充我们的模型培训和评估工具包，以考虑这种不对齐现象。

May, 2020

本文通过定性分析最新深度学习模型下 ImageNet 分类结果的失败案例并将其按照具体图像模式进行分类，以对 ImageNet 数据库中深度学习模型仍然存在的挑战这一主题展开探讨。

Sep, 2017

本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

Jun, 2020