在存在有错误标签（标签噪声）的验证集的情况下，我们考虑对二分类模型的伪阳性率（FPR）和真阳性率（TPR）进行估计的问题。我们的动机应用是防欺诈，其中准确估计 FPR 对于保护好顾客的经验至关重要，并且标签噪声是高度不对称的。现有方法旨在最小化清理过程中的总误差 - 以避免清理非噪声的示例，并确保清理噪声示例。这是一个重要的准确性度量，但不足以确保模型的真实 FPR 或 TPR 的良好估计，我们证明了即使总误差较低，使用模型直接清理其自身的验证数据也会导致低估。这表明研究人员需要追求不仅降低总误差，而且寻求将清理误差与模型评分去相关化的方法。

Aug, 2023

模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

Nov, 2023

本研究提出了一种简单直接的贝叶斯误差估计方法，可用于评估分类器和检测测试集过拟合。我们的方法灵活且无模型和实例需求，甚至适用于弱监督数据。实验结果表明，最近提出的深度网络，如 Vision Transformer 等，已经或即将达到基准数据集的贝叶斯误差。最后，我们还讨论了如何通过估计 ICLR 论文的贝叶斯误差来研究科学文章的接受 / 拒绝决策的困难程度。

Feb, 2022

本论文提出一种鉴别器违反封闭世界假设的有效方法，该方法基于概率网络的假设检验拒绝了不确定的输出并实现了低误报率的要求。

May, 2021

分类系统通常通过最小化系统输出和参考标签之间的交叉熵进行训练，Kullback-Leibler 散度是衡量系统与数据接近程度的自然选择。我们提出了一种新颖的方法，可以在不量化数据的情况下计算精度、召回率和 F 值，这些指标扩展了现有的度量标准，并且在与二进制标签一起使用时定义是一致的。

Sep, 2023

研究二分类问题中的公平问题，通过使用 “Equal Opportunity”，确保真正的阳性率在敏感组中分布均匀。通过重新校准贝叶斯分类器，获得公平最优分类器。提供了一组门槛的构造表达式，并基于无标签和有标签的数据集设计了一个插件分类过程，可以计算公平错误，同时在公平度量上保持统计一致性。

Jun, 2019

本文提出了一种新的 PU 学习方法，可同时估计类先验和训练分类器，简单易行且计算效率高，并通过实验验证了该方法的实用性。

Sep, 2018

本文提出用 Augmented Lagrangian Method 来解决在临床应用中，由于类别不平衡所引起的深度神经网络二分类器可持续错分少量样本的问题。作者认为，可以通过将分类问题看做约束优化问题并引入一种新的约束条件，即将假阳性率降至最低，同时保证真阳性率较高，从而提高模型精度。本文在医学影像的二分类和多分类以及其他数据集上进行了实验，证明了该方法能够有效提高模型准确率。

Feb, 2021

提出了补充 p 值的假阳性风险 (FPR) 估计，该方法是一种 Bayesian 数量，通过单个无偏实验的 p 值声称存在实际影响的概率，从而判断是否冒险犯错，可以更容易地被用户接受。

May, 2019

本文提出了一种基于约束学习的新框架， 可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题，并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。

Feb, 2018