Jan, 2023

D2O：一个新的用于物体分类的测试数据集

PDF
TL;DR该论文引入了一个新的测试集 D2O，该测试集可以帮助评估模型和衡量计算机视觉和人工智能中的进展，同时缓解现有测试集的一些问题，例如偏见和模型性能被低估等。D2O 测试集由生成图像和网络爬取图像混合而成，没有预备的训练集，旨在重视泛化能力，可预测模型的平均性能，挑战目标识别模型并激发更多研究。
object recognitiontest setbiasd2ogeneralization
发现论文，激发创造
  • 思考真实世界物体分类

    对深层模型在 ObjectNet 数据集上的表现及其在各种数据变化下的鲁棒性进行了研究，并发现将深层模型应用于对象而不是整个场景会显著改善性能，并且将对象区域限制在较小的范围内可提高准确性和鲁棒性。

    Mar, 2021

  • 广泛应用领域物体检测的最新模型

    该研究提供了一份数据集和最佳模型清单，比较分析了 5 个顶级数据集在各类深度学习模型上的性能，进一步探讨物体检测领域中的一阶和二阶方法。通过定量和定性分析，提供了性能最佳的模型和数据集组合。

    Nov, 2022

  • MVTec D2S: 浓密分割的超市数据集

    本文介绍了 Densely Segmented Supermarket（D2S）数据集，该数据集是一个新颖的实例感知语义分割基准，包含 21000 张高分辨率图像，具有所有对象实例的逐像素标签，其对象包括 60 个类别的杂货和日常用品。我们确保标签中没有歧义，每个实例都有全面的标注。该数据集涵盖了许多高度相关的挑战，如有限的训练数据和测试集，验证集的高多样性等。对 D2S 上最先进的物体检测和实例分割方法进行评估，结果表明还有很大的提升空间。

    Apr, 2018

  • COCO-O：自然分布偏移情况下的目标检测器基准测试

    通过引入基于 COCO 的 COCO-O 测试数据集，研究了 100 多种现代目标检测器的鲁棒性效果，并发现了各种架构设计、数据增强和预训练技术对鲁棒性的影响。

    Jul, 2023

  • In or Out? 修正 ImageNet 数据集的识别准确度

    提出一种新的测试集 NINCO 以及相应的合成 OOD 单元测试来更准确地评估模型在 Out-of-distribution 检测中的表现，并针对预训练对 OOD 检测性能的影响进行了详细的评估。

    Jun, 2023

  • 基于框架的分类外分布检测基准及其在 ImageNet 上的应用

    本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

    Feb, 2023

  • 野外大规模不平衡多标签物体检测

    本文提出了一种处理 Open Images 数据集中目标多标签和标签分布不平衡问题的方法，使用 concurrent softmax 处理多标签问题并提出一种混合训练计划的软采样方法来解决标签分布不平衡问题，实验结果在公共测试集上达到了最佳水平。

    May, 2020

  • OOD-CV-v2：自然图像中个体模糊的各类变化鲁棒性的扩展基准

    我们引入了 OOD-CV-v2 数据集，其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据，以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验，我们发现当前的提高鲁棒性方法只有微小的作用，并且可能会降低鲁棒性；同时，在卷积和 transformer 架构之间没有明显的差异。

    Apr, 2023

  • Microsoft COCO：上下文中的通用物体

    本研究旨在推进目标识别的最新进展，提出了一种数据集的形式，通过将目标识别的问题置于场景理解的更广泛背景下，聚集了包含常见物品的复杂日常场景的图像，并利用每个实例分割对物品进行标记以协助精确定位，该数据集包含 91 种 4 岁儿童容易识别的对象类型，有 328k 张图像和 250 万个标记实例。本文最终提供了一种基于可变形零件模型的边界框和分割检测结果的基线性能分析。

    May, 2014

  • ObjectNet 数据集：重新分析与更正

    通过将物体识别器应用于包含多个物体的场景而非孤立物体，我们发现在 ObjectNet 数据集中可以获得约 20-30％的性能提升。相比于 ObjectNet 文献中报告的结果，我们观察到可以恢复约 10-15％的性能损失，无需进行任何测试时间数据增强。然而，正如 Barbu 等人的结论一样，深度模型在该数据集上表现明显不佳。因此，我们认为 ObjectNet 仍然是测试模型广义性能的具有挑战性的数据集。

    Apr, 2020