Jan, 2024

生成对数据集漂移具有鲁棒性的浮游生物分类器

PDF
TL;DR现代浮游生物高通量监测依赖于深度学习分类器对水生态系统中的物种识别。我们研究中集成了 ZooLake 数据集和 10 个独立部署日的手动标注图像，作为用于评估超出数据集的表现的测试单元。我们通过分析发现，在实际场景中，分类器在初始数据集条件下表现良好的情况下也会遇到显著失败的例子。我们提出了一个三步骤的流程：（一）辨别比正常测试性能下的超出数据集降级，（二）进行降级原因的诊断分析，以及（三）提供解决方案。我们发现，使用 BEiT 视觉转换器进行集成的模型在超出数据集鲁棒性、几何集合和基于旋转的测试时间增强方面具有较强的模型，我们称之为 BEsT 模型。它的超出数据集准确度为 83％，错误集中在容器类上。此外，它对数据集变化的敏感性较低，并且能够很好地体现浮游生物的丰度。我们提出的流程适用于通用的浮游生物分类器，在适当的测试单元可用的情况下。通过非常短的表达，我们的研究为更可靠的浮游生物分类技术的发展提供了帮助。
发现论文，激发创造
  • 环境和传感器领域的鲁棒性和超出分布的未探索面：协变量转换

    计算机视觉应用中，现有的稳健性基准测试依赖于对数字图像的扰动，从而偏离了图像获取过程中发生的分布转变。为了弥合这一差距，我们引入了一个新的分布转变数据集 ImageNet-ES，该数据集由一个真实相机在一个可控实验环境中直接捕获的 202k 张图像组成。通过这个新数据集，我们评估了超出分布范围 (Out-of-Distribution, OOD) 检测和模型稳健性。我们发现，现有的 OOD 检测方法无法应对 ImageNet-ES 中的协变量转变，这意味着应重新审视 OOD 的定义和检测，以适应真实世界的分布变化。我们还观察到，通过学习环境和传感器的变化，模型在 ImageNet-C 和 - ES 方面都更加稳健，这是在现有数字增强的基础上的补充。最后，我们的结果表明，通过相机传感器控制有效地减轻转变可以显著提高性能，而无需增加模型大小。通过这些发现，我们的基准测试可能有助于未来关于计算机视觉稳健性、OOD 和相机传感器控制的研究。我们的代码和数据集可在此 https URL 找到。

    Apr, 2024

  • OOD-CV: 自然图像个体干扰鲁棒性的离群分布偏移基准

    本文引入 OOD-CV 数据集，并发现某些干扰因素有更强烈的负面影响；当前的提高鲁棒性的方法只有微弱的效果，甚至可能削弱鲁棒性；我们的数据集提供了一个丰富的测试床，以研究鲁棒性，并有助于推进这一领域的研究。

    Nov, 2021

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • COCO-O：自然分布偏移情况下的目标检测器基准测试

    通过引入基于 COCO 的 COCO-O 测试数据集，研究了 100 多种现代目标检测器的鲁棒性效果，并发现了各种架构设计、数据增强和预训练技术对鲁棒性的影响。

    Jul, 2023

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • DAPlankton：多仪器浮游生物识别的基准数据集及精细领域适应

    浮游生物识别和域适应方法在不同成像仪器之间产生领域偏移，本研究提出了一个新的域适应数据集（DAPlankton）和三种常用域适应方法的基准比较。

    Feb, 2024

  • 分布变化下基于开放词汇的基础对象检测鲁棒性研究

    该研究提供了对三种最新的开放词汇基础目标检测模型（OWL-ViT、YOLO World 和 Grounding DINO）的零样本能力的全面鲁棒性比较，通过在包含分布转移的 COCO-O 和 COCO-C 基准上进行实验揭示了模型鲁棒性的挑战。

    Apr, 2024

  • 基于深度学习的浮游生态数据分析

    深度学习方法在浮游生态学中的实施带来了新的视角，提供了一种客观的方案来研究不同环境中的浮游生物。它们包括图像的检测和分类、觅食和游泳行为分析以及生态模拟。深度学习有潜力加速分析并减少人类实验偏差，从而在具有改进可重复性的相关时间和空间尺度上支持数据获取。我们还讨论了其不足，并展示了深度学习架构如何发展来减少不精确的结果。最后，我们提出了深度学习特别可能促进浮游生物研究的机会，并提供了详细的教程和代码样本，使读者能够将本综述中描述的方法应用于自己的数据。

    Sep, 2023

  • OOD-CV-v2：自然图像中个体模糊的各类变化鲁棒性的扩展基准

    我们引入了 OOD-CV-v2 数据集，其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据，以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验，我们发现当前的提高鲁棒性方法只有微小的作用，并且可能会降低鲁棒性；同时，在卷积和 transformer 架构之间没有明显的差异。

    Apr, 2023

  • 基于框架的分类外分布检测基准及其在 ImageNet 上的应用

    本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

    Feb, 2023