利用标准化余弦相似度的 Softmax 实现无需超参数的 OOD 检测

May, 2019

利用标准化余弦相似度的 Softmax 实现无需超参数的 OOD 检测

Hyperparameter-Free Out-of-Distribution Detection Using Softmax of Scaled Cosine Similarity

Engkarat Techapanurak, Masanori Suganuma, Takayuki Okatani

TL;DR本文提出了一种基于缩放余弦相似性的 softmax 的简单、无超参数的方法，用于检测深度神经网络中的 out-of-distribution（分布外）样本。通过实验证明，该方法在考虑超参数依赖性的评估测试中优于现有方法，并且在传统测试中实现了至少与其他方法可比较的性能。此外，它的计算效率比大多数先前的方法更高，因为它只需要一个前向传递。

Abstract

The ability to detect out-of-distribution (OOD) samples is vital to secure the reliability of deep neural networks in real-world applications. Considering the nature of OOD samples, detection methods should not have hyperparameters that need to be tuned depending on incoming OOD sample

out-of-distribution detection deep neural networks hyperparameter-free method scaled cosine similarity metric learning

发现论文，激发创造

一种基于余弦相似度的未知分布检测方法

该论文提出 Class Typical Matching (CTM) 算法用于后续检测 OOD 数据。CTM 使用余弦相似度作为评分函数，经过多个基准测试表明，该算法超过了现有的后续 OOD 检测方法。

Jun, 2023

一种简单的统一框架用于检测样本的离群点和对抗攻击

本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

Jul, 2018

基于分类器头部信息的特征遮蔽和基于原型的对数平滑方法用于异常检测

提出了一种基于特征屏蔽和对数平滑的后处理 OOD 检测方法，通过减小 OOD 数据的特征激活和增加 ID 与 OOD 数据之间的差距，缓解了神经网络对 OOD 数据的过度自信性预测，并在多个标准 OOD 检测基准上证明了该方法的有效性和兼容性，取得了新的最先进性能。

Oct, 2023

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

马哈拉诺比斯感知训练用于外部分布检测

在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

Nov, 2023

利用 softmax 信息对于外部数据进行选择性分类的扩充

本研究针对在深度学习中的视觉识别任务中所出现的 out-of-distribution (OOD) 数据进行了检测，提出了一种基于 softmax 信息保留组合（SIRC）的分类方法，在不影响对 in-distribution 数据（ID）的正确预测的同时，可以提高识别 OOD 数据的准确率，实验表明 SIRC 可以在保证 SCOD 任务上表现较好，而已有的 OOD 检测方法则不如其表现。

Jul, 2022

语义分割中的 OOD 检测的熵最大化和元分类

本研究提出了一种改进基于像素 softmax 熵的方法的两步流程，通过引入第二个训练目标，最大化对不同数据集的 softmax 熵，并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率，从而提高深度神经网络的 OoD 检测性能。

Dec, 2020

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

全面的 OOD 检测改进

机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

Jan, 2024

朝着外部分布检测的现实基准

深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Apr, 2024