Apr, 2024

ImageNot: 对比 ImageNet 保持模型排名

PDF
TL;DR我们介绍了一个名为 ImageNot 的数据集，这个数据集在规模上与 ImageNet 相匹配，但在其他方面有很大差异。我们展示了在 ImageNot 上训练和评估的关键模型架构与在 ImageNet 上的排名完全相同，不论是从头开始训练还是微调模型。此外，每个模型相对于之前模型的改进在两个数据集中都强相关。我们进一步提供了证据表明，ImageNot 在迁移学习方面具有与 ImageNet 类似的效用。我们的工作展示了图像分类模型相对性能具有惊人的外部有效性，这与即使在数据集发生微小变化时绝对准确性数字通常会急剧下降的情况形成对比。
imagenotdatasetscalemodel architecturestransfer learning
发现论文，激发创造
  • ImageNet 模型的表现是否与迁移学习相关？

    比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

    May, 2018

  • ImageNet 分类器是否具有 ImageNet 的泛化能力？

    本文构建了针对 CIFAR-10 和 ImageNet 数据集的新测试集，发现在新测试集上，模型的准确率下降为 3% 到 15%，且这种准确率下降并非由于适应性，而是由于模型无法推广到原始测试集中找不到的，略微 “更难” 的图像。

    Feb, 2019

  • 自然对抗样本

    使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

    Jul, 2019

  • 思考真实世界物体分类

    对深层模型在 ObjectNet 数据集上的表现及其在各种数据变化下的鲁棒性进行了研究，并发现将深层模型应用于对象而不是整个场景会显著改善性能，并且将对象区域限制在较小的范围内可提高准确性和鲁棒性。

    Mar, 2021

  • 数据源的重要性：医学影像模型的鲁棒性受数据源影响

    调查传统学习与样本数据是否能够解释医学图像分类任务中的性能提升，结果显示经 ImageNet 预训练与经 RadImageNet 预训练的模型在分类性能上相似，但 ImageNet 更容易过拟合。建议使用 ImageNet 预训练模型的研究人员进行类似实验以重新评估模型的稳健性。

    Mar, 2024

  • 基础数据集设计对少样本图像分类的影响

    本文系统地研究了训练数据变化对深度图像特征的质量和通用性的影响，并提出了关键实用问题，如在固定注释预算情况下，每类图像数量和类别数量之间的最佳权衡

    Jul, 2020

  • XIMAGENET-12：一个可解释的 AI 基准数据集用于模型鲁棒性评估

    为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

    Oct, 2023

  • ImageNet 与 LAION 的差异

    通过仅基于图像标题搜索 LAION 数据集对 ImageNet 进行重建，我们发现重建后的数据集 LAIONet 与原始数据集有很大区别，同时提出数据生成过程的微小但重要差异以解释这种不一致性。

    Jun, 2023

  • ImageNet-21K 大规模预训练

    本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。

    Apr, 2021

  • 从 ImageNet 到图像分类：基准测试上的进展与语境

    通过人工研究这项工作研究了采用众包数据收集管道构建丰富的机器学习数据集的后果，重点关注了流行的 ImageNet 数据集，在 ImageNet 创建过程中特定的设计选择如何影响所得到的数据集的保真度，以及噪声数据收集管道如何导致所得基准与其代理真实世界任务之间存在系统性偏差。最后，发现需要扩充我们的模型培训和评估工具包，以考虑这种不对齐现象。

    May, 2020