ICLRFeb, 2022

深度网络的性能太好以至于不可信吗？一个直接估计二元分类贝叶斯误差的方法

PDF
TL;DR本研究提出了一种简单直接的贝叶斯误差估计方法，可用于评估分类器和检测测试集过拟合。我们的方法灵活且无模型和实例需求，甚至适用于弱监督数据。实验结果表明，最近提出的深度网络，如 Vision Transformer 等，已经或即将达到基准数据集的贝叶斯误差。最后，我们还讨论了如何通过估计 ICLR 论文的贝叶斯误差来研究科学文章的接受 / 拒绝决策的困难程度。
bayes errormachine learningclassificationestimatorvision transformer
发现论文，激发创造
  • 学习性能基准：从训练数据中确定最佳可达误分类率

    本文提出了一个学习如何对最佳分类器的表现进行基准测试的框架，实现了对贝叶斯误分类误差率的准确评估，基于一个包含估计器的集成学习器和切比雪夫逼近进行基准学习，通过实验验证，相较之前的方法精确的评估了贝叶斯误差率。

    Sep, 2019

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 基于数据驱动的 Bayes 二元分类器假阳性率估计与软标签

    本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估计器。由于问题的对称性，我们的结果还能被直接应用于估计贝叶斯分类器的假阴性率。

    Jan, 2024

  • 深度神经网络中的贝叶斯后验到底有多好？

    本文研究贝叶斯神经网络中后验概率的真实性及精度，通过 MCMC 抽样实验发现使用贝叶斯后验的预测性能显著不如基于 SGD 的点估计方法，并提出了一种 “冷后验” 的新方法，解释其使用背景及理论基础。本工作挑战了贝叶斯深度学习中关于精度估算的目标，提出从理解和探究 “冷后验” 方法优化神经网络性能入手。

    Feb, 2020

  • 神经网络的认证稳健准确性由于贝叶斯误差有界

    通过采用贝叶斯误差进行韧性分析，本文探讨了在考虑数据分布的不确定性的情况下，获得可证实韧性和保持准确性的极限，并建立了基于个别类别和边界分布的可证实韧性准确性的上界。

    May, 2024

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019

  • 利用证据理论的深度学习进行分类不确定性量化

    通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能，我们提出一种与贝叶斯神经网络正交的方法，该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。

    Jun, 2018

  • 深度学习模型不确定性的校准

    本文提出了一种基于概率贝叶斯方法的神经网络预测置信度校准方案，最大化置信度期望效用，用最大置信度校准误差度量预测的置信度和错误之间的关系，并在 COVID-19 诊断中测试取得了显著的效果。

    Jun, 2022

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 利用不确定性估计来提高分类器性能

    模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

    Nov, 2023