Aug, 2023

存在类条件标签噪声的欺诈检测中的 FPR 估计

PDF
TL;DR在存在有错误标签（标签噪声）的验证集的情况下，我们考虑对二分类模型的伪阳性率（FPR）和真阳性率（TPR）进行估计的问题。我们的动机应用是防欺诈，其中准确估计 FPR 对于保护好顾客的经验至关重要，并且标签噪声是高度不对称的。现有方法旨在最小化清理过程中的总误差 - 以避免清理非噪声的示例，并确保清理噪声示例。这是一个重要的准确性度量，但不足以确保模型的真实 FPR 或 TPR 的良好估计，我们证明了即使总误差较低，使用模型直接清理其自身的验证数据也会导致低估。这表明研究人员需要追求不仅降低总误差，而且寻求将清理误差与模型评分去相关化的方法。
false-/true-positive-ratebinary classification modellabel noisefraud preventionmodel scores
发现论文，激发创造
  • 基于数据驱动的 Bayes 二元分类器假阳性率估计与软标签

    本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估计器。由于问题的对称性，我们的结果还能被直接应用于估计贝叶斯分类器的假阴性率。

    Jan, 2024

  • 约束优化训练神经网络以处理关键且低频类别

    本文提出用 Augmented Lagrangian Method 来解决在临床应用中，由于类别不平衡所引起的深度神经网络二分类器可持续错分少量样本的问题。作者认为，可以通过将分类问题看做约束优化问题并引入一种新的约束条件，即将假阳性率降至最低，同时保证真阳性率较高，从而提高模型精度。本文在医学影像的二分类和多分类以及其他数据集上进行了实验，证明了该方法能够有效提高模型准确率。

    Feb, 2021

  • 物体检测数据集中的噪声标签处理

    该研究探讨了利用自信学习算法来改善训练数据集的质量，通过发现原始训练数据集中的错误标签，可以消除其根源上的错误样本并重新标注可疑的边界框来提高数据集的质量，最终提高目标检测算法的性能。

    Nov, 2022

  • 对于 “研究重现性及 p 值错误解读” 的批评回应

    提出了补充 p 值的假阳性风险 (FPR) 估计，该方法是一种 Bayesian 数量，通过单个无偏实验的 p 值声称存在实际影响的概率，从而判断是否冒险犯错，可以更容易地被用户接受。

    May, 2019

  • 利用人类反馈驯服异常检测中的假阳性

    通过与专家反馈相结合的数学理论模型，我们提出了一种能够在动态应用中满足假阳性率约束同时最小化人工反馈的离群样本检测框架。同时，该框架可以与任何用于量化离群不确定性的评分函数一起使用，并在合成和基准离群数据集上经验证实，能够将假阳性率维持在最多 5％的同时最大化真阳性率。

    Apr, 2024

  • 基于假设检验的选择性概率分类器

    本论文提出一种鉴别器违反封闭世界假设的有效方法，该方法基于概率网络的假设检验拒绝了不确定的输出并实现了低误报率的要求。

    May, 2021

  • 有信心样本的学习：用于带有噪声标签的强鲁棒分类的排名剪枝

    使用 Rank Pruning 算法解决嘈杂的正负样本学习问题，并且可以估计噪声率，并在 MNIST 数据集上取得了最先进的噪声估计和分类性能。

    May, 2017

  • 不平衡分类问题的鲁棒性能指标

    在不平衡分类问题中，传统的性能度量标准如 F-score、Jaccard 相似系数或 Matthews 相关系数对于类别不平衡并不稳健，因为当少数类占比接近 0 时，这些度量标准下的贝叶斯分类器的真正阳性率（TPR）也趋近于 0。为了解决这个问题，我们提出了对 F-score 和 MCC 的稳健修正，即使在极度不平衡的情况下，TPR 也得到了保证。我们通过模拟和信用违约数据集的实验来展示各种性能度量标准的行为，并讨论了与 ROC 和精确率 - 召回率曲线的关联性，并提出了如何将它们与性能度量标准结合使用的建议。

    Apr, 2024

  • Knockoffs-SPR：带噪声标签学习中的干净样本选择

    本文提出了一种用于学习带噪标签的理论上保证的干净样本选择框架，通过 Scalable Penalized Regression（SPR）方法建模网络特征与 one-hot 标签之间的线性关系来识别干净数据，并通过数据自适应方法的 Knockoffs-SPR 控制假阳率，结果表明该方法有效。

    Jan, 2023

  • 学习中的确认偏见问题：以标签噪声为手段进行打击

    通过融合伪标记和置信度估计技术，Robust LR 方法成功地改善了数据标签噪声和确认偏差，并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。

    Dec, 2021