分布偏移下的选择性分类
本研究提出了一种新颖的选择性分类方法,采用单边预测松弛技术优化分离的类别 - 单侧经验风险,达到准确度和覆盖率的平衡,并在实验中表明其在小误差水平下比现有方法表现更优。
Oct, 2020
在存在外部样本时面临选择性分类问题的可靠预测模型的设计,我们提出了三个关键贡献。首先,我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器,利用了分布内分类器的条件风险和分布内外数据的似然比作为输入,与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合(SIRC)方法的次优策略不同。其次,我们证明在一个无分布设置下,只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三,我们引入了 POSCOD,一种简单的方法,从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现,并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。
Mar, 2024
选择性分类是在高风险场景中提高安全性和可靠性的一种方法,本研究提出了一种基于置信度感知对比学习的新型选择性分类模型,该模型通过改进特征层次来提高选择性分类的性能,实验证明它明显降低了选择性风险。
Jun, 2024
本文研究了分类模型的选择性分类方法,发现在存在虚假相关性时,选择性分类可以提高平均准确度,但会放大不同群体之间的准确度差异。我们的分析表明,对于对称边缘分布,选择性分类是通过完全覆盖(即没有犹豫)下的准确度和分布是否满足左对数凹性质来确定改善或恶化准确度。基于我们的分析,我们训练了分布稳健模型,并表明选择性分类可以在这些模型上统一改进每个群体的准确性。
Oct, 2020
通过对包含图像和表格数据的多样化数据集进行实证评估,该研究对 18 种基线模型进行基准测试,比较了它们在选择错误率、实证覆盖率、被拒绝实例类别分布以及在分布外实例上的性能等多个方面的表现,结果显示没有一个明确的最佳方法,最好的方法取决于用户的目标。
Jan, 2024
部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类,将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构,使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖,并介绍了分层风险覆盖曲线。接下来,我们开发了针对分层选择分类的算法(也称为 “推理规则”),并提出了一种能够以高概率保证目标准确性约束的高效算法。最后,我们对一千多个 ImageNet 分类器进行了大量的实证研究,揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。
May, 2024
训练模型以适应由类先验或群组先验的分布变化引起的偏移问题并不容易,我们提出一种极其轻量级的事后方法,通过在验证集上求解约束优化问题并应用于模型,从而在测试时尽量减小选定目标分布周围的分布鲁棒性损失,并带有可证明的保证和实证的结果证明,表明我们的方法非常适用于分布鲁棒的事后分类器。
Sep, 2023
提出了无界和有界的调整方法,以平均预测与类分布相等化,以最小化得分规则。实验结果表明在实际应用中,即使类分布仅近似已知,仍然可以根据移位量和类分布的精度减少损失。
Nov, 2021
该文研究了机器学习模型在遇到新的用户数据时,如何估计模型的性能,提出了一种新的分布偏移模型 SJS 和算法框架 SEES,实验结果表明 SEES 在各种数据集和分布偏移情况下,相比现有方法,均能显著提高分布偏移误差的估计精度。
Sep, 2022