提供了一种使用 Conformal Prediction（CP）来更好评估 OOD 分数的方法，并通过引入新的 conformal AUROC 和 conformal FRP@TPR95 度量对 OOD 基准进行了改进，同时展示了 OOD 和 CP 之间相辅相成的优势。

Mar, 2024

在存在外部样本时面临选择性分类问题的可靠预测模型的设计，我们提出了三个关键贡献。首先，我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器，利用了分布内分类器的条件风险和分布内外数据的似然比作为输入，与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合（SIRC）方法的次优策略不同。其次，我们证明在一个无分布设置下，只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三，我们引入了 POSCOD，一种简单的方法，从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现，并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。

Mar, 2024

通过提出基于因果推理的因果语义生成模型（CSG），并利用因果不变性原则，我们开发了一种用于从单个培训域进行 OOD 预测的方法，该方法将语义因素和变化因素分别建模，从而解决了传统的监督学习方法对 OOD 例子的敏感性问题，并且在实证研究中表现出比现有方法更好的 OOD 性能。

Nov, 2020

该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

Aug, 2021

本研究提出了一种新颖的选择性分类方法，采用单边预测松弛技术优化分离的类别 - 单侧经验风险，达到准确度和覆盖率的平衡，并在实验中表明其在小误差水平下比现有方法表现更优。

Oct, 2020

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

Apr, 2024

本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

Apr, 2023

本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法，可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战，且可以和任何分类模型结合使用并保证有效性。

Apr, 2020

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024