通过人工研究这项工作研究了采用众包数据收集管道构建丰富的机器学习数据集的后果，重点关注了流行的 ImageNet 数据集，在 ImageNet 创建过程中特定的设计选择如何影响所得到的数据集的保真度，以及噪声数据收集管道如何导致所得基准与其代理真实世界任务之间存在系统性偏差。最后，发现需要扩充我们的模型培训和评估工具包，以考虑这种不对齐现象。

May, 2020

本文构建了针对 CIFAR-10 和 ImageNet 数据集的新测试集，发现在新测试集上，模型的准确率下降为 3% 到 15%，且这种准确率下降并非由于适应性，而是由于模型无法推广到原始测试集中找不到的，略微 “更难” 的图像。

Feb, 2019

本文中，我们重新给 ImageNet 数据集打上多标签，并显示了使用有限多标签进行训练的图像分类模型的性能提升。

Jan, 2021

通过对全球家庭物品的两个数据集进行广泛的实证评估，我们首先确定了标准基准和现实世界地理转变之间的进展差距，接着通过测量不同地区性能的差异，研究了模型在地理上的泛化能力，并发现了地理差异的增加是传统基准进展的副作用。最后，我们强调了在更具代表性的数据上重新训练简单的最后一层如何作为未来工作的有希望的方向，使得两个基准测试的地理差异减少了三分之二以上。

Jul, 2023

本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

Apr, 2021

本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

Aug, 2019

本研究介绍了 ImageNet Large Scale Visual Recognition Challenge 数据集的创建及在对象识别方面的进展，强调了收集大规模地面真实注释的挑战，分析了大规模图像分类和目标检测领域的现状，并将最先进的计算机视觉准确性与人类准确性进行了比较。最后总结了挑战五年来的经验教训，并提出了未来方向和改进措施。

Sep, 2014

本研究从人类参与和解释性的角度出发，探究了 ConvNets 和 Imagenet 在图像分类上的性能、鲁棒性和偏差问题，并以实验和工具提出了解释作为改善模型可靠性和理解性的有效手段。

Nov, 2017

使用 ImageNet-X 图像数据集，研究了模型的架构、学习模式和训练程序对模型在不同姿态、背景和光照下识别失败的影响。研究结果表明数据增强技术可以提高模型对某些因素的鲁棒性，但也会对其他因素产生溢出效应。未来应该集中精力收集更多数据和了解数据增强方案，以提高现代视觉模型的鲁棒性。

Nov, 2022

本文研究标签的一些属性对于监督学习算法的挑战，介绍了 Label Refinery，这是一个迭代的过程，可以在检查整个数据集后更新基本事实标签。作者发现，使用精炼标签可以提高各种模型的准确性，如 AlexNet、MobileNet 和 VGG19 等。

May, 2018