Jun, 2023

DOS: 多样化异常样本采样用于外分布检测

PDF
TL;DR该论文指出样本多样性对于 ODD 检测的关键作用，在此基础上提出一种名为 DOS（多元异常值采样）的采样策略，可以有效地降低平均 FPR95。
发现论文，激发创造
  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • VOS：通过虚拟异常点合成学习未知领域

    VOS 是一种新的框架，用于通过自适应合成虚拟离群值，在训练期间能够有意义地规范模型的决策边界，包括在特征空间中从类条件分布进行虚拟离群值取样，同时引入一种新的未知感知训练目标，与 ID 数据和合成离群数据之间的不确定性空间进行反向塑形，VOS 与物体检测和图像分类模型均能实现竞争性表现，在物体检测器上将 FPR95 降低了最高达 9.36％。

    Feb, 2022

  • 分类器中的数据分布外检测 via 生成

    本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

    Oct, 2019

  • 关于解决离分布检测评估方案中的随机性的问题

    本研究针对 Deep Neural Networks 对于训练集以外数据的表现会出现不可预测情况，提出 out-of-distribution detection 机制，并通过 Monte Carlo 方法推测性能，指出当前的 evaluation protocols 可能无法可靠估计 OOD 方法的预期表现。

    Mar, 2022

  • 利用自我监督采样进行端到端的越界检测

    本论文提出了一种新的概率框架模型和一种无需 OOD 数据的自监督抽样模型 (SSOD)，以解决现有研究中的问题，并展示了这些模型在大规模基准测试上具有领先的性能.

    Jul, 2023

  • 深度集成多样性用于外部分布检测的可用性

    深度学习中用深度集成方法提升神经网络的鲁棒性能，在大规模图片数据集中使用互信息指标 (OOD）的检测效果比单一模型的熵指标要劣 30-40%，使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。

    Jul, 2022

  • 扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

    研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

    Mar, 2023

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020

  • 使用后验采样进行异常检测

    提出一种新颖的基于后验采样的异常值挖掘框架（POEM），促进了异常数据的有效使用，并提高了识别内部和外部数据之间紧凑决策边界的性能，相对于现有最佳方法，在 CIFAR-10 和 CIFAR-100 上的 FPR95 相对性能分别提高了 42.0％和 24.2％，并在理论上证明了 POEM 用于 OOD 检测的有效性。

    Jun, 2022