通过数据纯化和动态激活函数设计推进离群检测

Mar, 2024

通过数据纯化和动态激活函数设计推进离群检测

Advancing Out-of-Distribution Detection through Data Purification and Dynamic Activation Function Design

Yingrui Ji, Yao Zhu, Zhigang Li, Jiansheng Chen, Yunlong Kong...

TL;DR通过改进神经网络中 OOD 样本的检测和管理，我们引入了含有噪声滤波技术的 OOD-R 数据集，提高了数据质量和模型准确性，针对模型的过度自信问题，我们还提出了一种创新方法 ActFun 来改善特征提取的稳定性和减小特异性问题，从而更准确地估计 OOD 不确定性。

Abstract

In the dynamic realms of machine learning and deep learning, the robustness and reliability of models are paramount, especially in critical real-world applications. A fundamental challenge in this sphere is managing Out-of-Distribution (OOD) samples, significantly increasing the risks of model misclassification and uncertainty. Our work addresses this challe

out-of-distribution (ood) samples neural networks detection algorithms ood-r dataset dataset integrity

发现论文，激发创造

ReAct: 使用修正激活进行超范围检测

本研究提出了一种名为 ReAct 的简单而有效的技术，用于减少神经网络在 out-of-distribution 数据上的过度自信，并在多个基准数据集上进行了实证展示，证明 ReAct 相较于此前最佳方法可以将误报率 (FPR95) 降低 25.05%。

Nov, 2021

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

Mar, 2023

离群数据：对抗样本的熟悉 —— 综述

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024

提高样本外检测的三个因素

通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

Aug, 2023

利用神经激活先验的异常检测

基于神经激活先验的针对超出分布检测的方法，利用神经网络的前全局池化层之前的通道的激活概率差异来提取与 ID 样本和 OOD 样本的相关特征，并提出了一种新的评分函数用于强调这些强激活的神经元在超出分布检测中的作用，该方法能够与现有方法有效地结合，实验结果表明其在多个数据集上达到了最先进的性能。

Feb, 2024

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

基于极值的图像分类异常检测方法：XOOD

本研究提出了一种基于极值的新型 OOD 检测框架 XOOD，包括两个算法：完全无监督的 XOOD-M 和自我监督的 XOOD-L，两者都依赖于神经网络中激活层数据的极值信号以区分内部分布和 OOD 实例。实验证明，XOOD-M 和 XOOD-L 在效率和准确性方面均优于现有的状态 - of-the-art OOD 检测方法，在降低误报率（FPR95）50％，同时将推理时间提高一个数量级。

Aug, 2022