机器学习研究人员关于 OOD 检测的错误信念

Oct, 2022

机器学习研究人员关于 OOD 检测的错误信念

Falsehoods that ML researchers believe about OOD detection

Andi Zhang, Damon Wischik

TL;DR本文提出了一个 OOD 代理框架，统一了许多最近提出的基于似然比的方法，并指出似然比是一种原则性的 OOD 检测方法，而不是简单的方法修正。此外，还讨论了领域区分和语义之间的关系。

Abstract

An intuitive way to detect out-of-distribution (OOD) data is via the density function of a fitted probabilistic generative model: points with low density may be classed as OOD. But this approach has been found to fail, in deep learning settings. In this paper, we list some falsehoods t

out-of-distribution detection probabilistic generative model likelihood ratio ood proxy framework domain discrimination

发现论文，激发创造

用于识别样本分布外点的似然比

研究讨论了关于基于基因组序列的细菌识别的 out-of-distribution (OOD) inputs 问题，提出了用于深度生成模型的似然比方法来纠正背景统计数据偏差，并在 genomics 数据集上进行了实验。结果表明，我们的方法在 OOD 检测方面取得了最好的性能，并且我们证明了该方法的广泛适用性。

Jun, 2019

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

似然异常检测悖论的几何解释

概率估计的深度生成模型在处理复杂数据集时，尽管给较简单来源的数据分配了较高的概率值，但却没有生成这些数据，这个矛盾仍然没有得到解释，因此概率估计的 OOD 检测不可信。我们的研究观察到，当高概率区域中包含的概率质量最小时，这些区域将不会生成。我们通过本地内在维度估计方法解释了这种大密度但低概率质量的情况，并提出了一种基于预训练深度生成模型的概率和内在维度估计相结合的 OOD 检测方法，该方法适用于归一化流和基于得分的扩散模型，并在相同的深度生成模型架构上达到或超过了最先进的 OOD 检测基准结果。

Mar, 2024

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

全面的 OOD 检测改进

机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

Jan, 2024

关于外部分布检测的可学习性

基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

Apr, 2024

统一的超领域检测：基于模型视角

本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

Apr, 2023

自然语言处理中的超领域检测综述

本文回顾了最近关于 out-of-distribution 检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

May, 2023

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024