从黑盒到白盒:在不同条件下检验置信度校准
提出了一种新的方法来测量并校准物体检测方法的偏置(或机器不准确)置信度估计,使用附加信息可以在图像位置和框比例方面获得校准的信心估计,并提出了一种新的度量方法来评估物体检测器的不准确性。
Apr, 2020
应用于自动驾驶和手术机器人等许多安全关键应用中,从对象检测模块获取预测不确定性以帮助支持安全决策是可取的。本文中我们介绍了一种方法用于解决单个对象定位任务的边界框的不确定性问题。我们使用现有技术来校准回归模型,实验表明所得出的校准模型得到了更可靠的不确定性估计。
Nov, 2018
本文针对深度神经网络 (DNNs) 对于物体检测模型的校准问题,提出了一种新的辅助损失函数公式来对齐边界框类别置信度和准确性,并通过在多个基准数据集上的实验验证其有效性。
Mar, 2023
本文研究了深度神经网络模型校准方面的现有问题,并发现这类模型存在大量 “几乎确定” 置信度,导致常常过于自信。同时,文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
本文研究了神经网络模型的预测不确定性及其校准问题,并发现不使用卷积层的最新模型的校准性能最好,模型大小和预训练量并不能完全解释这些差异,表明模型架构是影响校准性能的主要因素。
Jun, 2021
该研究论文探讨了在深度神经网络中定义和估计检测校准误差的挑战,并提出了一种一致且可微的检测校准误差估计器,利用核密度估计,实验证明该估计器在保持相似检测性能的同时,对竞争的训练时和事后校准方法更为有效。
Dec, 2023
本文讨论了使用现代神经网络进行多目标检测的方法,并考虑了该检测方法的不确定性。作者提出了一些对象定位的精度检测方法,并研究了对检测误差的影响。该文章还讨论了空间不确定性的问题,并介绍了一些校准方法。最后,作者结合以往方法,展示了在车辆自动驾驶等场景中实现定位校准的应用。
Feb, 2023
深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题,并成功在各种任务上展示了其成果。然而,置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标,即校准错误评分,用于识别整体和类别上的校准状态,包括置信度过高或过低。我们的指标揭示了现有校准技术存在的缺陷,它们往往过度校准模型,并加剧了置信度过低的预测问题。接着,我们利用类别上的校准错误评分作为代理设计了一种既能应对置信度过高又能应对置信度过低的校准技术。我们进行了大量实验证明我们提出的方法明显优于现有的校准技术。我们还通过风险覆盖曲线在自动故障检测任务上验证了我们的校准技术,结果表明我们的方法提高了故障检测的性能和模型的可信度。可在 https://github.com/AoShuang92/miscalibration_TS 找到代码。
Aug, 2023