SCOD: 从启发式到理论

Mar, 2024

SCOD: From Heuristics to Theory

Vojtech Franc, Jakub Paplham, Daniel Prusa

TL;DR在存在外部样本时面临选择性分类问题的可靠预测模型的设计，我们提出了三个关键贡献。首先，我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器，利用了分布内分类器的条件风险和分布内外数据的似然比作为输入，与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合（SIRC）方法的次优策略不同。其次，我们证明在一个无分布设置下，只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三，我们引入了 POSCOD，一种简单的方法，从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现，并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。

Abstract

This paper addresses the problem of designing reliable prediction models that abstain from predictions when faced with uncertain or out-of-distribution samples - a recently proposed problem known as selective classification in the presence of →

selective classification out-of-distribution data scod bayes classifier poscod

发现论文，激发创造

利用 softmax 信息对于外部数据进行选择性分类的扩充

本研究针对在深度学习中的视觉识别任务中所出现的 out-of-distribution (OOD) 数据进行了检测，提出了一种基于 softmax 信息保留组合（SIRC）的分类方法，在不影响对 in-distribution 数据（ID）的正确预测的同时，可以提高识别 OOD 数据的准确率，实验表明 SIRC 可以在保证 SCOD 任务上表现较好，而已有的 OOD 检测方法则不如其表现。

Jul, 2022

通过单侧预测进行选择性分类

本研究提出了一种新颖的选择性分类方法，采用单边预测松弛技术优化分离的类别 - 单侧经验风险，达到准确度和覆盖率的平衡，并在实验中表明其在小误差水平下比现有方法表现更优。

Oct, 2020

拒绝选项模型包含的分布外检测

本研究提出了三种拒绝选项模型和双分数 OOD 方法，以及与之配套的新评估指标，它们能够显著提高除错分类和未知样本特征识别任务中的性能。

Jul, 2023

SimSCOOD: 源代码模型的超出分布行为的系统分析

由于代码的组合性和软件的复杂性，获取具有完整代码分布覆盖的代表性训练数据仍然具有挑战性。因此，我们提出了第一种系统性方法，模拟不同维度数据属性的各种 OOD 场景，并研究在这些场景下模型的行为。我们对三项代码生成任务中的六种最先进的模型进行了广泛的研究，发现了一些由 OOD 问题引起的失败模式。此研究具有启示作用，为未来关于源代码模型的泛化、鲁棒性和归纳偏差等的研究提供了新的视角。

Oct, 2022

自信度分类器用于异常检测的分析

本文针对图像分类中的 ODD 问题，分析研究了最近提出的使用置信分类器来检测 ODD 样本的方法，并结论表明该方法仍会对偏离训练数据分布的 OOD 样本产生高置信度，建议新增 “拒绝” 类别来训练分类器。

Apr, 2019

关于外部分布检测的可学习性

基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

Apr, 2024

基于模式识别的上下文化的异常检测

本研究提出了 CODE 方法，它是一种可解释人工智能领域的扩展工作，用于识别类别特定的重复模式，以构建强大的用于视觉分类器的离群检测方法。CODE 不需要对分类器进行重新训练，且与离群分布无关，直接针对训练数据集进行调优。关键在于模式识别，使得我们能够提供来自内部分布数据集的图像作为参考数据，为置信度提供额外的上下文。此外，我们还引入了一种基于内部分布数据集的扰动的新基准，作为内部分布和离群分布数据集之间差异的已知可量化度量值，以用于比较离群检测方法。

Oct, 2023

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023

分布偏移下的选择性分类

通过广义选择性分类，我们提出了两种新的边缘得分函数，用于基于深度学习分类器的广义选择性分类，并通过广泛的分析和实验表明，我们的方法在各种分类任务和深度学习分类器上比现有方法更有效和可靠。

May, 2024

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022