此研究提出了一种基于测量论和信息论的度量标准:接近度评价度量,用于在对有相对排序的类别进行指派的任务如情绪分析中应用;在理论分析和实验结果中实现了同时捕捉传统任务质量方面的效果,并且根据其所在的测量尺度,还可以推广一些流行的分类(名义等级)和误差最小化(间隔等级)测量标准。
Jun, 2020
该研究提出了一种基于离散等级标签来预测连续值变量的框架,在三项临床预测任务中取得了较好效果,并证明了该方法通过蒙特卡罗 dropout 可以提高预测准确性。
May, 2023
通常用于评估模型性能的无标签数据评估的方法,通过使用得分函数映射概率向量来提高效果,但是需要选用最佳得分函数,实验得出 L^∞范数是最合适的。
Jun, 2023
本文提出了 Survival-CRPS,它是一种广义的连续秩概率得分,用于生存预测设置的正确或区间截断变体,并评估了两个电子健康记录数据集上的死亡率预测任务的效果,结果表明训练 CRPS 得分的模型相较于 MLE 训练的模型拥有更加尖锐的预测分布并保持校准。
Jun, 2018
本文系统评估了 CRPS-sum 以了解其判别能力,发现 CRPS-Sum 的统计特性会影响其判别能力,同时 CRPS-sum 计算忽略了模型在每个维度上的表现,这些缺陷会导致对模型表现的错误评估,最终的实验表明 CRPS-Sum 的缺点会误导概率预测方法的性能评估,而且此指标并不是可靠的多元概率预测测量度量标准。
Jan, 2022
本文提出了一种基于约束学习的新框架, 可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题,并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。
Feb, 2018
我们扩展了标准的符合预测方法,开发了几种符合风险控制方法,并应用于不同的学习问题。本文中,我们致力于控制序列分类任务中的符合风险,该任务在许多实际问题中具有广泛应用。为此,我们首先在符合风险控制框架中对序列分类任务进行了规范,并提供了理论风险边界控制方法。然后,我们提出了两种特别设计用于序列分类任务的损失函数,并开发了相应的算法来确定每种情况的预测集,以便将其风险控制在所需的水平。我们展示了我们提出的方法的有效性,并分析了两种风险在三个不同数据集上的差异,包括模拟数据集、UTKFace 数据集和糖尿病视网膜病变检测数据集。
May, 2024
该文讨论了机器学习领域最常见的分类系统性能指标,比较了它们与期望成本和 PSR 等其他指标之间的关系,并认为后者更为优秀和高效。
Sep, 2022
本文提出了一种使用排名损失函数和等变回归来优化概率预测的技术,具有良好的排名和回归性能,并且在概率分布上比逻辑回归等统计学习方法表现更好,证明了该技术在实际应用中的有效性。
Jun, 2012
本文探讨了利用序数回归将人体质量指数(BMI)分类估计成序数类别,用基于成对比较的嘈杂二进制搜索算法来利用 BMI 类别之间的序数关系,并应用 Bradley-Terry 模型概率作为目标进行成对比较,结果表明,所提出的方法在 BMI 类别估计方面优于分类和回归方法。
Nov, 2018