通过单侧预测进行选择性分类
通过广义选择性分类,我们提出了两种新的边缘得分函数,用于基于深度学习分类器的广义选择性分类,并通过广泛的分析和实验表明,我们的方法在各种分类任务和深度学习分类器上比现有方法更有效和可靠。
May, 2024
在存在外部样本时面临选择性分类问题的可靠预测模型的设计,我们提出了三个关键贡献。首先,我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器,利用了分布内分类器的条件风险和分布内外数据的似然比作为输入,与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合(SIRC)方法的次优策略不同。其次,我们证明在一个无分布设置下,只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三,我们引入了 POSCOD,一种简单的方法,从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现,并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。
Mar, 2024
选择性分类是在高风险场景中提高安全性和可靠性的一种方法,本研究提出了一种基于置信度感知对比学习的新型选择性分类模型,该模型通过改进特征层次来提高选择性分类的性能,实验证明它明显降低了选择性风险。
Jun, 2024
我们研究了 OOD 通用化情境下的置信集预测问题,并提出了一种在 OOD 情境中形成可靠预测集的方法,并在模拟数据上进行了实验证实了我们理论的正确性和方法的有效性。
Mar, 2024
本文研究了分类模型的选择性分类方法,发现在存在虚假相关性时,选择性分类可以提高平均准确度,但会放大不同群体之间的准确度差异。我们的分析表明,对于对称边缘分布,选择性分类是通过完全覆盖(即没有犹豫)下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析,我们训练了分布稳健模型,并表明选择性分类可以在这些模型上统一改进每个群体的准确性。
Oct, 2020
通过对包含图像和表格数据的多样化数据集进行实证评估,该研究对 18 种基线模型进行基准测试,比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现,结果显示没有一个明确的最佳方法,最好的方法取决于用户的目标。
Jan, 2024
部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类,将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构,使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖,并介绍了分层风险覆盖曲线。接下来,我们开发了针对分层选择分类的算法(也称为 “推理规则”),并提出了一种能够以高概率保证目标准确性约束的高效算法。最后,我们对一千多个 ImageNet 分类器进行了大量的实证研究,揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。
May, 2024
本文提出了一种模型不可知的方法,将一个选择函数与给定的概率二元分类器相关联,以最优化 AUC,并且通过使用 AUCROSS 算法来取得成功,从而在交换覆盖率和 AUC 之间达到最佳平衡。
Oct, 2022
本研究针对在深度学习中的视觉识别任务中所出现的 out-of-distribution (OOD) 数据进行了检测,提出了一种基于 softmax 信息保留组合(SIRC)的分类方法,在不影响对 in-distribution 数据(ID)的正确预测的同时,可以提高识别 OOD 数据的准确率,实验表明 SIRC 可以在保证 SCOD 任务上表现较好,而已有的 OOD 检测方法则不如其表现。
Jul, 2022