Apr, 2023

当真阴性趋近无限时，MCC 趋近于精度和召回率的几何平均值

PDF
TL;DR本文研究二元分类器的表现，通过混淆矩阵描述该分类器的真阳性、真阴性、假阳性和假阴性，提出了 MCC，F1 和 FM 得分来总结混淆矩阵信息，其中 MCC 综合考虑整个混淆矩阵；作者证明了，在目标检测问题中有时候计算真阴性的数量太大，难以度量，因此提出仅考虑真阳性、假阳性和假阴性的 FM 和 F1 分数，同时证明 FM 和 MCC 实际上是等价的。
发现论文，激发创造
  • 不平衡分类问题的鲁棒性能指标

    在不平衡分类问题中，传统的性能度量标准如 F-score、Jaccard 相似系数或 Matthews 相关系数对于类别不平衡并不稳健，因为当少数类占比接近 0 时，这些度量标准下的贝叶斯分类器的真正阳性率（TPR）也趋近于 0。为了解决这个问题，我们提出了对 F-score 和 MCC 的稳健修正，即使在极度不平衡的情况下，TPR 也得到了保证。我们通过模拟和信用违约数据集的实验来展示各种性能度量标准的行为，并讨论了与 ROC 和精确率 - 召回率曲线的关联性，并提出了如何将它们与性能度量标准结合使用的建议。

    Apr, 2024

  • 多类预测中性能度量的统一视角

    本文研究了一种针对多类问题的分类器性能度量 Confusion Entropy 与传统度量 Matthews Correlation Coefficient 的多分类推广之间的关系，并通过理论和计算证据支持了这一结果。

    Aug, 2010

  • 评价：从精度、召回率和 F - 度量到 ROC、知情度、标记度和相关性

    本研究讨论了常见的评估措施，指出它们存在偏差，需要清楚理解偏差并识别其机会或基线水平，提出了反映预测是否知情的概率的若干概念和测量方法，引入了 Markedness 作为一种相对应的概率的二元测度，展示了 Informedness，Markedness，相关性和重要性的优雅联系，以及它们与召回率和准确率之间的直观关系，并概述了从二分类情况扩展到一般的多类情况。

    Oct, 2020

  • 分类度量标准的分析与比较

    该文讨论了机器学习领域最常见的分类系统性能指标，比较了它们与期望成本和 PSR 等其他指标之间的关系，并认为后者更为优秀和高效。

    Sep, 2022

  • 宏平均 F1 和宏平均 F1

    研究比较了两种计算 “宏 F1” 度量的公式，发现只有在稀有情况下这两种计算方法才可以被视为等价的，主要由于一种公式更重视产生偏向错误类型分布的分类器，这两种计算方法不仅在标量结果上会产生不同的结果，还会导致不同的分类器排名。

    Nov, 2019

  • 在不可区分阈值上的精确度：一种评估分类算法的方法

    当调节好算法以至于无法将被标记的猫与真实猫区分时，被标记为包含猫的随机图片实际上有多大概率含有猫？通过构建一个新的度量指标，该度量指标可以将被标记为包含猫的图片与真实含有猫的图片相区分，从而评价算法的表现。

    Nov, 2023

  • 优秀的分类度量及其发现方法

    通过定义和分析分类表现的可取特性，研究论证了某些性能度量方法比其他方法更好，并提出了一系列新的度量方法，这些方法在除一种可取特性外均可满足，包括 Matthews 相关系数和对称平衡准确性，为实践人员实现充分的分类结果评估提供了重要工具。

    Jan, 2022

  • 蒙特卡罗研究的评估

    通过理论分析和 Monte Carlo 模拟，对传统评估方法中存在的偏见进行了讨论，提出了一些不受偏见影响的替代评估方法，如 Cohen Kappa，并进行了实证评估。

    Apr, 2015

  • 通过 $F_β$- 得分将多类神经网络分类器准则与任务性能对齐

    我们提出了一种方法，该方法可以为多类神经网络分类器提供训练和评估的一致性，使其与预期的特定应用性能标准相一致，并通过使用软集混淆矩阵和分段线性逼近的概念，将二元情况扩展到多类情况。

    May, 2024

  • 使用模糊精确率和召回率评估分类系统对软标签的准确性

    分类系统通常通过最小化系统输出和参考标签之间的交叉熵进行训练，Kullback-Leibler 散度是衡量系统与数据接近程度的自然选择。我们提出了一种新颖的方法，可以在不量化数据的情况下计算精度、召回率和 F 值，这些指标扩展了现有的度量标准，并且在与二进制标签一起使用时定义是一致的。

    Sep, 2023