Jan, 2024
ValUES: 语义分割中不确定性估计系统验证的框架
ValUES: A Framework for Systematic Validation of Uncertainty Estimation
in Semantic Segmentation
TL;DR在这项研究中，我们将当前研究中不确定性方法的三个关键问题与缺乏系统和全面的评估方法相联系，并提出了一种评估框架，通过提供1）用于研究数据模糊性和分布变化的受控环境，2）对相关方法组件进行系统性切割，以及3）用于五种主要的不确定性应用（OoD检测，主动学习，故障检测，校准和歧义建模）的测试基准，来弥补研究差距。对于模拟数据和真实世界数据的实证结果表明，所提出的框架能够回答该领域的主要问题，揭示了例如：1）不确定性类型的分离在模拟数据上是有效的，但不一定适用于真实数据，2）分数的聚合是不确定性方法中重要但目前被忽视的组件，3）尽管集成模型在不同下游任务和设置中表现最为稳健，但测试时间增强常常作为一种轻量级的替代方法。