Oct, 2022

超越校准：估算现代神经网络的分组损失

PDF
TL;DR本文研究了分类器给出可靠置信度分数的能力，在分组损失的影响下，提出了适用于标准设置下的分组损失估计器，利用该估计器证明了现代神经网络在计算机视觉和自然语言处理中存在分组损失
发现论文，激发创造
  • 足够校准

    研究表明，通过使用共单调性作为评估标准，可以缩小概率分类器在校准过程中可观测信息和实际利用信息之间的差距，并且使用 Brier 曲线作为辅助工具可以支持概率分类器的训练和 ' 充分 ' 校准。

    May, 2021

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 重新审视现代神经网络的校准

    本文研究了神经网络模型的预测不确定性及其校准问题，并发现不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。

    Jun, 2021

  • 用于分类的非参数校准

    提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

    Jun, 2019

  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 大型神经网络多校准性能通过损失最小化实现

    本文研究了神经网络的表征方面，揭示使用最小化平方误差可以达到多重校准目标，从而提高了公平性。

    Apr, 2023

  • 贝叶斯神经网络中基于损失校准的近似推断

    本文提出了一种基于 Bayesian 决策理论的新的、具有损失校准的证据下界来近似贝叶斯神经网络的真实后验分布，该下界依赖于一种效用函数，以确保我们的逼近方法对于具有非对称效用函数的应用程序具有更高的效用。此外，该方法具有与标准 dropout 神经网络相同的目标，但具有额外的依赖于效用函数的惩罚项。

    May, 2018

  • 医学成像分类神经网络的改进可训练校准方法

    本文提出了一种新的校准方法，旨在提高神经网络在医学领域图像分类任务中的不确定性量化能力，该方法基于期望校准误差作为量化神经网络不确定性的公共度量，可以作为辅助损失项轻松地集成到任何分类任务中，从而显著降低分类误差。

    Sep, 2020

  • 神经网络的软校准目标

    为了更好地进行决策，神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差，还能在保持准确性不变的同时，得到更好的不确定性估计。

    Jul, 2021