May, 2020

从 ImageNet 到图像分类：基准测试上的进展与语境

PDF
TL;DR通过人工研究这项工作研究了采用众包数据收集管道构建丰富的机器学习数据集的后果，重点关注了流行的 ImageNet 数据集，在 ImageNet 创建过程中特定的设计选择如何影响所得到的数据集的保真度，以及噪声数据收集管道如何导致所得基准与其代理真实世界任务之间存在系统性偏差。最后，发现需要扩充我们的模型培训和评估工具包，以考虑这种不对齐现象。
machine learning datasetscrowd-sourced data collectionimagenet datasetbiasesmodel training
发现论文，激发创造
  • ImageNet 任务是否已完成？

    通过重新标注 ImageNet 数据集的验证集，本文发现现有的 ImageNet 分类器的性能提升要小于之前的报道，同时发现原始 ImageNet 标签不再是独立收集集的最佳预测变量，预示其在评估视觉模型方面的用途可能即将结束，但是本文采用的注释程序大大弥补了原始标签中的错误，为未来视觉识别研究提供了重要的基准。

    Jun, 2020

  • 未经筛选的图像 - 文本数据集：揭示人口特征偏见

    我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现，以及如何应对这个问题，研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。

    Apr, 2023

  • ConvNets 和 ImageNet 超越准确性：理解错误和揭示偏见

    本研究从人类参与和解释性的角度出发，探究了 ConvNets 和 Imagenet 在图像分类上的性能、鲁棒性和偏差问题，并以实验和工具提出了解释作为改善模型可靠性和理解性的有效手段。

    Nov, 2017

  • 大规模图像分类数据集高效标注的良好实践

    本文研究了一种高效的策略收集多类别图像集的分类标签，使用自监督学习技术并将标注问题视为半监督学习问题，并提出了有效的标注指南，用此方案对 ImageNet100 图像集进行模拟实验，结果表明每张图像平均仅需 0.35 个标注，即可标注到 80% 的 top-1 准确率，相比之前的工作和手动注释，分别提高了 2.7 倍和 6.7 倍。

    Apr, 2021

  • 大规模图像数据集：计算机视觉的短暂胜利？

    该研究调查了大规模视觉数据集的问题性实践和后果，并提出了采集数据集时应该考虑的伦理问题，包括同意和公正问题，以及诸如图像集中是否包含可验证色情图片的具体问题。同时，该论文根据实验和统计数据来阐明了数据集整理中的伦理原则和应该避免的陷阱，呼吁建立强制的伦理审查委员会。

    Jun, 2020

  • XIMAGENET-12：一个可解释的 AI 基准数据集用于模型鲁棒性评估

    为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

    Oct, 2023

  • ImageNet-X: 使用变化因素注释理解模型错误

    使用 ImageNet-X 图像数据集，研究了模型的架构、学习模式和训练程序对模型在不同姿态、背景和光照下识别失败的影响。研究结果表明数据增强技术可以提高模型对某些因素的鲁棒性，但也会对其他因素产生溢出效应。未来应该集中精力收集更多数据和了解数据增强方案，以提高现代视觉模型的鲁棒性。

    Nov, 2022

  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • 朝着更公平的数据集：在 ImageNet 层次结构中过滤和平衡 "人" 子树的分布

    本研究认为当前计算机视觉技术中存在针对某些群体的预测结果的不当行为，导致这种情况的可能因素是使用手动注释的数据集制作的模型的数据及标签分布不均。因此，我们对一个大规模的图像本体库 ImageNet 中的 “人” 类别子树中的三个关键因素进行了剖析，并试图提出建设性的缓解方案。

    Dec, 2019

  • ImageNet-21K 大规模预训练

    本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。

    Apr, 2021