朝着更好的选择性分类
通过对包含图像和表格数据的多样化数据集进行实证评估，该研究对 18 种基线模型进行基准测试，比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现，结果显示没有一个明确的最佳方法，最好的方法取决于用户的目标。
Jan, 2024
本文研究了分类模型的选择性分类方法，发现在存在虚假相关性时，选择性分类可以提高平均准确度，但会放大不同群体之间的准确度差异。我们的分析表明，对于对称边缘分布，选择性分类是通过完全覆盖（即没有犹豫）下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析，我们训练了分布稳健模型，并表明选择性分类可以在这些模型上统一改进每个群体的准确性。
Oct, 2020
部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。
May, 2024
本研究提出了一种新颖的选择性分类方法，采用单边预测松弛技术优化分离的类别 - 单侧经验风险，达到准确度和覆盖率的平衡，并在实验中表明其在小误差水平下比现有方法表现更优。
Oct, 2020
本文提出了一种构造选择分类器的方法，可在风险可控的情况下使用深度神经网络进行分类，解决了在深度神经网络中使用拒绝选项技术的问题，有效提高了分类器性能，成功实现了在 ImageNet 上顶部 5 项分类的 2% 错误率，并且测试覆盖率达到近 60%，为深度神经网络在关键应用中的应用提供了可能性。
May, 2017
本文提出了一种模型不可知的方法，将一个选择函数与给定的概率二元分类器相关联，以最优化 AUC，并且通过使用 AUCROSS 算法来取得成功，从而在交换覆盖率和 AUC 之间达到最佳平衡。
Oct, 2022
选择性分类是在高风险场景中提高安全性和可靠性的一种方法，本研究提出了一种基于置信度感知对比学习的新型选择性分类模型，该模型通过改进特征层次来提高选择性分类的性能，实验证明它明显降低了选择性风险。
Jun, 2024
通过引入选择性集合来减轻模型的不一致性，使用随机选定的起始条件训练一组模型的预测上执行假设检验；在这些情况下，选择性集合可以放弃不一致预测结果并在指定的置信水平下达成一致结果，多个基准数据集上展示出零一致性预测点和低至 1.5％的放弃率。
Nov, 2021
通过广义选择性分类，我们提出了两种新的边缘得分函数，用于基于深度学习分类器的广义选择性分类，并通过广泛的分析和实验表明，我们的方法在各种分类任务和深度学习分类器上比现有方法更有效和可靠。
May, 2024
通过利用针对模型特定偏差提供基于置信度的个体预测的坚实的置信度度量，我们提出了一种新的选择回归方法，并提出了一个标准化的评估框架，通过广泛的实验方法证明了我们的方法在多个最先进的基准测试中的优势。
Feb, 2024