本研究提出了一种简单直接的贝叶斯误差估计方法，可用于评估分类器和检测测试集过拟合。我们的方法灵活且无模型和实例需求，甚至适用于弱监督数据。实验结果表明，最近提出的深度网络，如 Vision Transformer 等，已经或即将达到基准数据集的贝叶斯误差。最后，我们还讨论了如何通过估计 ICLR 论文的贝叶斯误差来研究科学文章的接受 / 拒绝决策的困难程度。

Feb, 2022

本文提出了一种广义的 HP divergence 测量方法，用于估计有标签数据样本的 Bayes error rate，并证明了该方法比基于成对测量方法和 Lin 提出的方法更紧密，展示了应用该方法进行特征还原策略和深度学习结构评估的工具。

Nov, 2018

通过小球假设，本文在不假定类成员和目标是有界函数或具有快速衰减尾部的情况下，对凸类和使用平方损失的经验风险最小化的性能进行了尖锐边界限制。得到的估计与问题的噪声水平正确比例，并且当应用于经典的有限场景时总是会改善已知的边界。

Jan, 2014

利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

Jan, 2019

该文介绍了最小风险校准的概念，并在均方误差分解的框架下提出一种校准概率分类器的原则方法，并提出了一种解决标签漂移挑战的两阶段方法。

May, 2023

使用 Bernstein 界限来表示关于偏差估计的不确定性，从而帮助防止分类器被认为是有偏见或无偏见，当没有足够的证据来做出任何一个主张。

Apr, 2020

本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估计器。由于问题的对称性，我们的结果还能被直接应用于估计贝叶斯分类器的假阴性率。

Jan, 2024

提出了一种基于贝叶斯估计的增加严格适当得分的方法 BEMPS，用于在主动学习中估计严格适当得分的增加，该方法在实验证明了其较其他方法更强大和更具鲁棒性，并通过定性分析得到了支持。

Dec, 2023

模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

Nov, 2023

研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

Oct, 2014