超越 mAP: 迈向更好的实例分割评估
设计用于评估实例分割的度量标准围绕着全面考虑目标检测和分割准确性展开,然而,当前研究忽视了其他重要特性,如敏感性、连续性和一致性。本文揭示了大多数现有度量标准在测量分割质量方面具有有限的分辨率,它们只在掩模或错误预测的变化情况下有条件地敏感。对于某些度量标准来说,在一个狭窄的范围内,得分可能会急剧变化,这可能会误导结果质量差距的指示。因此,我们提出了一种名为 sortedAP 的新度量标准,它严格降低了目标和像素级别的缺陷,并且在整个域上具有连续的惩罚刻度。我们在此 https 的 URL 上提供了评估工具包和实验代码。
Sep, 2023
该文研究了一种利用均值平均精度作为训练损失的方法来直接训练 CNN 基础物体分类器,并探讨了如何有效计算这些损失的梯度。该方法在训练时同时使用非极大值抑制,使得训练与测试时使用相同的模型和损失函数。在 PASCAL VOC 2007 和 2012 数据集上,该模型达到了与标准 Fast R-CNN 相同的性能水平。
Jul, 2016
我们提出了一种名为 OC-cost 的方法,它通过解决检测和实际情况间的最佳传输问题来度量检测器的准确性,避免了 mAP 只能从排序检索方面评估的缺点。与 mAP 相比,OC-cost 更加准确和公平,能够提供一个额外的度量工具来评估检测器。
Mar, 2022
本文提出了一种有效的方法,将一阶段目标检测器的分类任务替换为排名任务,并采用平均准确率 (Average-Precision) 损失函数,通过优化算法,处理了训练中的极端正负样本不平衡问题,获得了比现有 AP-based 优化算法更出色的实验结果。
Aug, 2020
本文提出了基于定位和分类质量的视觉检测器的匹配误差的平均值作为 Localisation Recall Precision (LRP) 误差的测量方式。同时还引入了 oLRP 误差作为评估视觉检测器的最佳阈值。基于近 100 个最先进的视觉检测器,使用 10 个数据集进行了比较,发现 LRP 误差提供了比其他方法更丰富和更有区分度的信息。
Nov, 2020
本文提出了一种针对目标检测的度量标准 'Localization Recall Precision (LRP) Error',该度量标准由三个与定位、假阴性率和假阳性率有关的组成部分组成,利用 Optimal LRP 来决定一个类别的最佳置信度阈值,从而平衡定位和召回精度之间的权衡。与 AP 不同,Optimal LRP 能为 SOTA 检测器提供比 AP 更丰富和有区别性的信息。
Jul, 2018
本文提出两种互补度量标准来解决在大词汇量和高实例数条件下,AP-Pool 评价指标的缺陷。我们发现,在对交叉类别进行再排序的情况下,这种缺陷形成了可操纵的指标,简单的再排序策略可以大幅提高平均精确度,而我们的新评估表明,许多报告的进展并未转化为改进,并考虑一种加权平均精确度的池化版本来奖励逐类别排序的合理性。最后,通过显式校准检测器,我们重新审视了经典的校准方法,并发现在 AP-Pool 上显式校准检测器可以将其最先进的水平提高 1.7 个点。
Feb, 2021
本文回顾了平均精度丢失 (AP loss),揭示了选择正负样本之间排名对的关键性,并提出了两种改进 AP loss 的策略。 第一个是新的自适应成对误差 (APE) loss,专注于正负样本中的排名对。 此外,利用聚类算法和规范化排名分数和本地化分数选择更精确的排名对。在 MSCOCO 数据集上的实验证明了我们提出的方法相对于当前的分类和排名损失的优越性。
Jul, 2022
通过使用广播,掩码和索引,我们提出了一种并行化的方法来处理检测到的边界框和真实值边界框,以计算平均精度,并且我们的实现是基于 PyTorch 和 TensorFlow 的,因此更快,更容易适应典型的训练例程。
Jun, 2022
本文提出了一种基于排序任务和平均准确率损失(AP-loss)的新框架和一种新的优化算法,以解决一阶段目标检测器中的分类任务造成前景背景极度不平衡问题。实验证明这种方法可以有效提高检测性能。
Apr, 2019