Oct, 2023

统一不确定性校准

HTML
PDF
TL;DR构建强健、公正、安全的人工智能系统时，当面临难以判断或超出训练类别范围的测试样本时，我们希望我们的分类器能够说“我不知道”。然而，传统的“拒绝或分类”策略不允许不同来源的不确定性进行交互，产生不准确的预测，并且无法纠正我们对不确定性估计的错误。为了解决这三个问题，本研究介绍了“统一不确定性校准（U2C）”，这是一个综合框架，结合了精确性和认知性不确定性，并在各种ImageNet基准测试中表现优于“拒绝或分类”策略。
发现论文，激发创造
  • 深度学习中的单模型不确定性

    本文提出了一种基于深度神经网络单模型的aleatoric和epistemic不确定性估计方法，分别为Simultaneous Quantile Regression（SQR）和Orthonormal Certificates（OCs），这些方法无需集成或重新训练深层模型就能达到竞争性能。

    Nov, 2018

  • 回归任务中的不确定性预测评估和校准

    本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法，并通过对合成问题和对COCO和KITTI数据集的物体检测边界框回归任务的实验验证，展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。

    May, 2019

  • 通过与对抗鲁棒性的关系来提高校准

    该论文研究神经网络的对抗强度和校准之间的联系，并提出了Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS)方法，以提高模型校准和鲁棒性。该方法可应用于单个模型和集成模型，可在数据偏移情况下实现更好的校准结果。

    Jun, 2020

  • 通过准确度与不确定性优化来改善模型校准

    优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

    Dec, 2020

  • 计算机视觉中缺乏不确定性的发现令人不安

    本文通过对文献的元分析，发现大多数计算机视觉应用都没有使用恰当的认识不确定性量化方法，从而忽略了模型自身的局限性。我们描述了使用没有适当的不确定性量化的模型所产生的后果，并激励社区采用具有适当校准的认知不确定度的模型版本，以实现让模型具有识别未知数据集的能力。在本文中，我们还总结了计算机视觉应用程序中不确定性估计的挑战和建议。

    Apr, 2021

  • 确定性认知不确定性的实用性

    本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对DUM进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

    Jul, 2021

  • 深入探讨随机误差与认知误差的分离

    研究神经网络的不确定性问题，提出了一种新的不确定性量化方法，能够区分aleatoric和epistemic uncertainties，实验证明Ensembles可以提供整体性最好的解决方案，同时推荐采样softmax函数的超参数N大于100。

    Apr, 2022

  • 预训练神经网络的认知不确定性量化

    我们的研究旨在为任何预训练模型量化认识上的不确定性，不需要原始训练数据或模型修改，可以确保广泛适用于任何网络架构或训练技术；我们提出了一种基于梯度的方法来评估认识上的不确定性，通过分析输出相对于模型参数的梯度，从而指示必要的模型调整以准确地表示输入。

    Apr, 2024

  • 基于误差驱动的不确定性感知训练

    神经网络误差驱动不确定性感知训练（EUAT）技术提供了更高质量的不确定性估计，优于现有的不确定性估计方法，并能在构建可信的二分类器和分布数据转换时产生更可靠的结果。

    May, 2024

  • 关于认知不确定性的校准：原则、悖论和冲突损失

    基于实验研究，证据深度网络产生的认知不确定性在某些情况下违反预期，这引发了对其准确性的质疑。在此基础上，我们提出了一种深度集成的正规化函数，称为冲突损失，以满足认知不确定性的两个要求，并且不损害深度集成的性能或校准性。

    Jul, 2024