CVPRApr, 2024

环境和传感器领域的鲁棒性和超出分布的未探索面：协变量转换

PDF
TL;DR计算机视觉应用中，现有的稳健性基准测试依赖于对数字图像的扰动，从而偏离了图像获取过程中发生的分布转变。为了弥合这一差距，我们引入了一个新的分布转变数据集 ImageNet-ES，该数据集由一个真实相机在一个可控实验环境中直接捕获的 202k 张图像组成。通过这个新数据集，我们评估了超出分布范围 (Out-of-Distribution, OOD) 检测和模型稳健性。我们发现，现有的 OOD 检测方法无法应对 ImageNet-ES 中的协变量转变，这意味着应重新审视 OOD 的定义和检测，以适应真实世界的分布变化。我们还观察到，通过学习环境和传感器的变化，模型在 ImageNet-C 和 - ES 方面都更加稳健，这是在现有数字增强的基础上的补充。最后，我们的结果表明，通过相机传感器控制有效地减轻转变可以显著提高性能，而无需增加模型大小。通过这些发现，我们的基准测试可能有助于未来关于计算机视觉稳健性、OOD 和相机传感器控制的研究。我们的代码和数据集可在此 https URL 找到。
computer vision applicationsrobustness benchmarksdistribution shiftsout-of-distribution detectioncamera sensor control
发现论文，激发创造
  • OOD-CV-v2：自然图像中个体模糊的各类变化鲁棒性的扩展基准

    我们引入了 OOD-CV-v2 数据集，其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据，以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验，我们发现当前的提高鲁棒性方法只有微小的作用，并且可能会降低鲁棒性；同时，在卷积和 transformer 架构之间没有明显的差异。

    Apr, 2023

  • OOD-CV: 自然图像个体干扰鲁棒性的离群分布偏移基准

    本文引入 OOD-CV 数据集，并发现某些干扰因素有更强烈的负面影响；当前的提高鲁棒性的方法只有微弱的效果，甚至可能削弱鲁棒性；我们的数据集提供了一个丰富的测试床，以研究鲁棒性，并有助于推进这一领域的研究。

    Nov, 2021

  • 图像分类模型自然分布偏移鲁棒性测量

    本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

    Jul, 2020

  • COCO-O：自然分布偏移情况下的目标检测器基准测试

    通过引入基于 COCO 的 COCO-O 测试数据集，研究了 100 多种现代目标检测器的鲁棒性效果，并发现了各种架构设计、数据增强和预训练技术对鲁棒性的影响。

    Jul, 2023

  • 重新思考外部分布检测的评估：索利斯悖论

    本研究构建了一个名为 Incremental Shift OOD（IS-OOD）的基准，通过基于提出的语言对齐图像特征分解（LAID）的移位测量方法，将测试样本分成不同的子集，相对于 ID 数据集具有不同的语义和协变量移位程度，以解决当前存在的超出分布（OOD）检测基准中的 Sorites 悖论问题。此外，还构建了包含更多多样的协变量内容的高质量生成图像的 Synthetic Incremental Shift（Syn-IS）数据集，以补充 IS-OOD 基准。研究评估了在本基准上进行的当前 OOD 检测方法，并发现几个重要结论：（1）大多数 OOD 检测方法的性能随着语义移位的增加而显著提高；（2）某些方法如 GradNorm 在做出决策时较少依赖于语义移位，可能具有不同的 OOD 检测机制；（3）图像中过度的协变量移位也可能被某些方法视为 OOD。

    Jun, 2024

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 分布变化下基于开放词汇的基础对象检测鲁棒性研究

    该研究提供了对三种最新的开放词汇基础目标检测模型（OWL-ViT、YOLO World 和 Grounding DINO）的零样本能力的全面鲁棒性比较，通过在包含分布转移的 COCO-O 和 COCO-C 基准上进行实验揭示了模型鲁棒性的挑战。

    Apr, 2024

  • OODRobustBench：基于分布偏移的对抗鲁棒性评估与分析

    现有研究在提高对抗鲁棒性方面取得了很大进展，但通常只在与训练数据相同分布的数据上进行测试，即内分布（ID）测试。然而，如何在输入分布转移（即出分布（OOD）测试）下实现这种鲁棒性的泛化仍不清楚。因此，我们提出了一个名为 OODRobustBench 的基准来全面评估 OOD 对抗鲁棒性，使用 23 种数据集级的转移（即输入分布中的自然转移）和 6 种威胁级的转移（即未知的对抗威胁模型）。OODRobustBench 用于评估 706 个稳健模型，使用 60.7K 个对抗性评估。这个大规模分析显示：1）对抗鲁棒性在 OOD 泛化问题上存在严重问题；2）ID 鲁棒性与 OOD 鲁棒性在许多分布转移下呈正线性相关，这使得可以从 ID 鲁棒性预测 OOD 鲁棒性。基于这一点，我们能够预测现有强化训练方案的 OOD 鲁棒性的上限。研究结果表明，实现 OOD 鲁棒性需要设计超出传统方法的新方法。最后，我们发现额外数据、数据增强、先进的模型架构和特定的正则化方法可以提高 OOD 鲁棒性。值得注意的是，与基准相比，发现的训练方案在威胁转移下表现出明显更高的鲁棒性，同时保持高的 ID 鲁棒性，为多攻击和未知攻击的鲁棒性提供新的有希望的解决方案。

    Oct, 2023

  • ImageNet-OOD: 解析现代异常检测算法

    通过广泛的实验，我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感，并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。

    Oct, 2023

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022