释放掩码：探索内在的外部分布检测能力

ICMLJun, 2023

释放掩码：探索内在的外部分布检测能力

Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability

Jianing Zhu, Hengzhuang Li, Jiangchao Yao, Tongliang Liu, Jianliang Xu...

TL;DR本文提出了一种新的方法 ——Unleashing Mask，该方法使用掩模找出受记忆的非典型样本，并通过微调或修剪模型来忘记它们，从而恢复所训练模型的 OOD 鉴别能力。

Abstract

Out-of-distribution (OOD) detection is an indispensable aspect of secure AI when deploying machine learning models in real-world applications. Previous paradigms either explore better scoring functions or utilize the knowledge of outliers to equip the models with the ability of OOD det

out-of-distribution detection machine learning models ood detection capability unleashing mask atypical samples

发现论文，激发创造

重新思考外域（OOD）检测：掩模图像建模就是您所需的一切

本文提出利用基于重建的先验任务构建的模型，用于检测 OOD，并通过 Masked Image Modeling 预训练，取得了比先前 SOTA 更好的表现，包括单类 OOD 检测高出 5.7％，多类 OOD 检测高出 3.0％，近分布 OOD 检测高出 2.1％。

Feb, 2023

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

MOODv2：面罩图像建模用于超出分布检测

主要研究了有效的离域检测的关键是获取一个稳健的域内表示，与离域样本有所区别；通过对不同的预训练任务和离域得分函数进行全面分析，发现通过重构预训练的特征表示显著增强了性能，并缩小了各个得分函数之间的性能差距。

Jan, 2024

统一的超领域检测：基于模型视角

本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

Apr, 2023

医疗表格数据中的超出分布检测基准

机器学习模型在现实世界的医疗系统中可靠地运用和避免在分布之外的数据上产生不准确的预测是非常重要的。该研究提出了一个全面的可复现基准测试，比较了不同方法在接近和远离分布之外的数据上的表现，特别关注医疗表格数据的处理。研究发现对于远离分布之外的数据，问题似乎已经解决，但对于接近分布之外的数据仍然存在挑战。此外，将后处理方法与基于距离的机制结合可以显著改善性能，而 Transformer 架构相对于 MLP 和 ResNet 架构来说更加保守。

Sep, 2023

利用扩散先验进行外部分布检测

利用扩散模型的生成能力和 CLIP 的强大特征提取能力，我们提出了一种新颖的 OOD 检测方法，通过使用这些特征作为扩散模型的条件输入，我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号，我们的方法不需要类别特定的标记，提高了实用性和可扩展性，且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。

Jun, 2024

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

基于假设驱动的深度学习进行外部分布检测

我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围，在黑盒系统中，通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应，并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型，用以检测未知的细菌样本，并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。

Mar, 2024