DICE: 利用稀疏化进行过度分布检测

ECCVNov, 2021

DICE: 利用稀疏化进行过度分布检测

DICE: Leveraging Sparsification for Out-of-Distribution Detection

Yiyou Sun, Yixuan Li

TL;DR本文提出了一种基于稀疏化技术的 OOD 检测框架 DICE，通过筛选对误差贡献最大的权重来减少噪声信号，从而提高 OOD 检测的鲁棒性和精度，证明了该方法的有效性并与其他方法进行了比较

Abstract

Detecting out-of-distribution (OOD) inputs is a central challenge for safely deploying machine learning models in the real world. Previous methods commonly rely on an OOD score derived from the overparameterized weight space, while largely overlooking the role of sparsification. In this paper, we reveal important insights that reliance on →

out-of-distribution inputs sparsification-based ood detection dice unimportant weights brittleness

发现论文，激发创造

全面的 OOD 检测改进

机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

Jan, 2024

多实例学习中的未知样本检测

机器学习中的弱监督学习和多实例学习框架下的离群分布检测的重要性和挑战，以及当前已有方法的不足和需求。

Sep, 2023

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

通过白化线性判别分析进行深度神经网络未知数据检测

本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

Mar, 2023

MOS: 针对大型语义空间的扩展分布外检测

本文提出了一种基于组的 OOD 检测框架和一种新颖的 OOD 评分函数 MOS，通过将大语义空间分解成具有相似概念的小组，简化内部与外部数据之间的决策边界，从而使得面对高维度分类空间的场景下，我们的方法比以前的方法更为有效。在四个精心策划的 OOD 数据集上进行了评估，证明了 MOS 的性能优越，相比之前最好的方法，平均 FPR95 降低 14.33％，推理速度提高 6 倍。

May, 2021

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

通过隐式层集成增强自然语言理解中的外部分布检测

该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

Oct, 2022

鲁棒语言模型的伪 OOD 训练

本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

Oct, 2022

虚假特征多样化提高离域泛化

通过理论分析和实证研究，我们发现在处理超越分布数据的机器学习任务中，利用多样的偶然特征进行加权模型集成可以显著提高整体的超越分布泛化性能，而不同于传统观点所认为的学习不变特征的方法。此外，我们提出了一种名为 BAlaNced averaGing (BANG) 的方法，可以有效修复原有方法 WiSE-FT 在超越分布情况下的过度自信问题，进一步提升其超越分布性能。

Sep, 2023

Perceptron 偏置的扩散去噪处理在超分布检测中的应用

本文提出了一种新的 OOC 检测方法，探讨了鉴别模型在特定区域中对数据更敏感，借此提出了基于扩散模型的检测方法和指标分数，结合鉴别模型和生成模型进行检测，实验结果表明该方法在 CIFAR10 和 CIFAR100 数据集上有竞争力。

Nov, 2022