自信度分类器用于异常检测的分析
本文中,我们通过研究生成 “有效” 的 OOD 样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个 $n+1$ 分类器来检测 OOD,其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019
本文提出了一种新的分类器训练方法,通过对深度神经网络引入两个额外的术语来增强分类器的推断性能,并同时训练分类和生成神经网络以解决样本的分布问题,该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。
Nov, 2017
本论文提出一种基于深度学习和分类器集成的方法,通过独特的基于边界的损失函数来可靠地检测出分布外数据,同时在超过一些 OOD 检测基准上明显优于现有算法。
Sep, 2018
研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现,深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器,并提供所有实验代码。
Jun, 2021
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection),该技术不仅在 OOD 点处实现低置信度,还在一个 l∞球的周围实现低置信度。实验结果表明,相比于认证对抗性鲁棒性,最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。
Jul, 2020
通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力,并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力,结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性,因此为开发下一代 OOD 检测方法提供了有用的见解。
Jul, 2021
研究机器学习中如何确定训练分布和 ODD(Out-Of-Distribution)样本的检测机制,提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术,在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13%/ 5%的提高,并在分布内样本上提供高水平的认证和敌对鲁棒性。
Mar, 2023
使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征,并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失,第一个项将辅助 OOD 表征与 ID 表征分开,而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型,并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时,我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效,作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较,并展示了最先进的结果。
Oct, 2023