本文提出了一个基于代价敏感分类器的集成学习方法,用于分类与拒绝模型,它允许灵活选择损失函数并且适用于二分类和多分类情形。实验结果表明我们提出的方法在不同类型的分类任务中表现良好。
Oct, 2020
针对具有连续和无限目标空间的回归问题,提出了一种新颖的基于成本拒绝的回归模型,其可以通过考虑拒绝成本来拒绝对某些示例进行预测。该研究首先建立了该问题的期望风险模型,然后导出了贝叶斯最优解,表明当使用均方误差作为评估指标时,最优模型应拒绝对方差大于拒绝成本的示例进行预测。此外,提出使用考虑拒绝作为二分类的替代损失函数进行模型训练,并提供了模型一致性的条件,表明我们提出的替代损失函数可以恢复贝叶斯最优解。大量实验证明了我们提出方法的有效性。
Nov, 2023
本文提出了一种新的概念 —— 决策校准,指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下,作者设计了一种重新校准算法,其样本复杂度多项式时间,并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。
Jul, 2021
我们提出一种多类别标签问题的校准方法,通过多项式时间和样本复杂度来高效校准预测器,以获得对二元分类问题的强有力保证。
Feb, 2024
文章讨论了多类别分类中的概率模型拟合和校准问题,并提出了一种基于矩阵核的估计器来解释校准度量的测试统计量。
Oct, 2019
学习与拒绝是研究人类与人工智能在预测任务中相互作用的典型模型,其包含预测者和拒绝者两个组件。我们探讨了回归与拒绝问题,并研究了将该问题视为标准回归任务学习预测者的无拒绝学习策略。通过扩大预测者的函数类,我们发现无拒绝学习策略的次最优性可以得到缓解。在研究中,我们引入了截断损失来单独针对预测者进行学习,并展示了比联合学习更容易建立预测者的一致性替代性。我们的研究结果支持先使用所有数据来学习预测者,然后根据拒绝者的预测损失进行标定的两步学习过程。这更符合常识,即更多的数据样本将会获得更好的预测者,并需要更多的努力设计用于学习拒绝者的标定算法。虽然我们主要讨论了回归问题,但理论结果和观点同样适用于分类问题。
Jul, 2023
简化针对多分类替代损失计算校准函数的过程,提出了一种流线化分析方法,以得到利于非参数设置的紧凑且精确的校准函数,而无需为每种新的替代损失重新推导。
Sep, 2016
我们研究了多类别分类中的学习与弃权的关键框架,介绍了一系列新的理论和算法结果,提出了几个新的代理损失函数家族,并分析了单阶段和两阶段学习设置的保证和应用,证明了我们的代理损失的优越性,并展示了广泛适用的两阶段弃权算法的卓越性能。
Oct, 2023
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
提出了一种调整分类器置信度估计的方法,使其接近正确分类的概率,该方法利用了潜在高斯过程的非参数表示,并针对多类分类进行了特别设计,适用于任何输出置信度估计的分类器,不限于神经网络,实验证明其性能强。
Jun, 2019