通过使用精确度和召回率评估曲线，我们提出了一种对分类器性能进行更准确评估的方法。使用基于学习矢量量化的原型分类器，我们验证了该方法在人工基准数据和数据不平衡的场景以及医学实际数据上的有效性。

Aug, 2023

本研究提出了一种模型无关的方法，通过可解释的模型和反事实解释，局部解释任意拒绝选项。

May, 2022

此调查研究了具有拒绝选项的机器学习，介绍了拒绝的两种类型，现有模型的结构和训练策略，以及如何评估模型的预测能力和拒绝质量，并提供了相关应用领域的示例。

Jul, 2021

本文提出了一种自我学习的框架和一种新的评估措施，用于处理样本偏差和拒绝推断问题，并在真实的信用评分数据集上进行了测试，证明其相对于传统的自我学习和拒绝推断策略具有更好的性能和评估效果。

Sep, 2019

本文研究了多类别分类问题中的拒绝机制，提出了同时训练分类器和拒绝器的方法，并探讨了针对更广泛损失函数的可接受标准，最终通过实验验证了理论发现的相关性。

Jan, 2019

提出了一种名为 “信任得分” 的新型得分，它度量了分类器和在测试示例上修改后的最近邻分类器之间的一致性，证明了高（低）信任得分可产生出人意料的高（低）正确分类的精确度，同时优于分类器的置信度得分以及许多其他的基准方法，并且在一定的分布假设下证明，如果一个示例具有高（低）的信任得分，则分类器可能会与贝叶斯最优分类器达成一致（不一致），这些保证基于拓扑数据分析领域的最近进展，并在各种不同的非参数设置下提供了非渐近统计一致性速率。

May, 2018

近期，发展了一种针对多类别标注问题的不确定性感知深度学习方法，提供了校准的类别预测概率和超出分布的指示，从而使机器学习用户和工程师能够评估模型对其预测的信心。为了解决这些挑战，我们提出了 ScatterUQ，一个交互式系统，通过提供有针对性的可视化方式，使用户能够更好地理解模型在上下文驱动的不确定性环境中的性能。通过利用最近在距离感知神经网络和降维技术方面取得的进展，ScatterUQ 构建了强大的二维散点图，解释模型为什么将一个测试样例预测为（1）属于某个类别的内部分布中的样例，（2）属于某个类别的内部分布中的样例，但对类别不确定，以及（3）属于外部分布的样例。机器学习用户和工程师可以通过使用 “悬停回调” 来直观比较测试样本的显著特征与训练样本，以理解模型的不确定性性能，并决定后续行动。我们通过针对 Fashion-MNIST 训练的距离感知神经网络在 Fashion-MNIST（内部分布）和 MNIST 数字（外部分布）上进行多类别图像分类的案例和针对网络数据集的深度学习模型进行了验证。我们定量评估了降维技术以优化我们的上下文驱动 UQ 可视化。我们的结果表明，ScatterUQ 系统可以适用于任意的多类别数据集。我们的代码可以在此 https URL 上获得。

Aug, 2023

通过引入可拒绝的机制并使用置信度和修正后的置信度 (R-Con) 来提高鲁棒性，从而更好地检测和拒绝对抗样本。

May, 2021

该研究探讨了如何创建足够准确、透明、可解释的再犯预测模型以用于决策，使用了流行的机器学习方法来创建沿全 ROC 曲线的模型，并使用 SLIM 方法创建精确、透明、可解释的模型，可用于各种不同的用例，因为它们与最强大的黑盒机器学习模型一样准确，但完全透明和高度可解释。

Mar, 2015

该研究探讨了基于得分函数的梯度学习在判别式和生成式分类设置中的应用。实验表明，该方法适用于数据集的不平衡情况，有效提高了二分类性能。

Jul, 2022