简化显著性基准测试:分离模型、显著图和度量
本研究探索了现有的用于评估显著图质量(即 “保真度”)的指标,并发现当前文献中这些指标的计算方式缺乏一致性,且可重复性差,说明用这些指标生成的显著图质量排名可能不可信。
Nov, 2019
本文分析了 8 种不同的评估指标及其属性,通过系统性实验和计算可视化,为显著性评分的可解释性和评估的透明度增加了解释性。建立在指标属性和特性之上,我们针对特定应用和假设为度量选择提供了建议。
Apr, 2016
本研究提出一种基于 Bernoulli 分布的显著性图模型,并使用包括 softmax 在内的新损失函数,通过大规模数据和深度结构进行显著性估计,表现优于现有的显著性方法。
Apr, 2018
该研究评估了 8 种常用显著性图技术在医学图像中的实用性和健壮性,发现所有的技术都未能同时满足局部化实用性、模型权重随机化敏感性、重复性和可重复性这四个标准,并建议在高风险的医学图像中使用检测或分割模型来实现局部化。
Aug, 2020
通过在 6 个具有挑战性的数据集上定量和定性地比较 40 个最先进的模型(28 个显著性目标检测、10 个注视预测、1 个目标性、1 个基准)以进行显著目标检测和分割方法的基准测试,评价显示,这个领域在准确度和运行时间方面在过去几年里有了持续的快速进步。对于这个问题,我们发现显著目标检测专门设计的模型通常比相关领域中的模型表现更好,这为问题的精确定义提供了提示,并提出了一些可能的解决方案和未来的研究方向。
Jan, 2015
本文对几种显著性方法进行实验和理论探索,提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明,有些现有的显著性方法具有独立性,这些方法不受模型和数据生成过程的影响,因此,那些未通过所提出测试的方法,对于对数据或模型敏感的任务( 如在数据中找到异常值,解释模型所学到的输入和输出之间的关系以及调试模型)是不适当的。与边缘检测类比,本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。
Oct, 2018
评估人类扫视路径预测模型的学术论文,引入新的评估指标方法并详细比较了现有模型的性能,提出了以往指标所忽略的问题点。论文最终提出了 MIT/Tuebingen Saliency Benchmark 数据集作为基准,供研究人员参考,评价其模型预测的准确性。
Feb, 2021
基于变压器模型的 Saliency TRansformer 方法通过利用变压器中的并行解码,仅从注视地图中学习显著性,并将显著性预测视为一种直接的集合预测问题,通过一种全局损失来预测唯一的注视点,并在 Salicon 和 MIT300 基准测试中取得与最先进方法相当的度量分数。
Nov, 2023
本文对注视点预测和显著性目标分割算法以及主要数据集进行了深入评估。我们的分析证明了现有显著性目标基准存在严重的设计缺陷,称之为数据集设计偏见,因其过分强调了显著性的刻板概念,导致注视点与显著性目标分割之间存在不协调且误导算法设计。基于我们的分析,我们提出了一个新的高质量数据集,提供了注视点和显著性目标分割的 ground-truth。通过同时呈现注视点和显著性目标,我们能够填补注视点和显著性目标之间的差距,并提出了一种新的显著性目标分割方法。最后,我们报告了对三个现有数据集的显著性目标分割基准进展的显著评价。
Jun, 2014