强健性到偶然相关性的提升改进了语义外分布检测
研究表明,在训练集中,假设特征和标签之间的虚假相关性增强,检测模型对于发现野外数据的能力会大幅降低。通过引入 “不变” 的特征来新定义和建模数据转移,提出了新的数据转移形式,并在此基础上深入探究了虚假相关在识别过程中的影响,同时提出了一种降低虚假相关影响的方法。
Sep, 2021
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式,可以灵活地与现有方法相结合,提高现有的 Out-of-distribution detection 方法的鲁棒性,CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。
Mar, 2020
本文提出了一种基于野外混合数据的新颖框架,旨在改进在野外部署的机器学习模型的 OOD 检测能力,通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标,有效地解决了这个问题,并在常见的 OOD 检测任务中获得了优异的性能。
Feb, 2022
研究机器学习中如何确定训练分布和 ODD(Out-Of-Distribution)样本的检测机制,提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术,在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13%/ 5%的提高,并在分布内样本上提供高水平的认证和敌对鲁棒性。
Mar, 2023
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
采用扩散过程将提供整个训练集的信息纳入预测的噪声向量中,并推导出噪声向量的闭合解,将噪声向量转化为用于度量 OOD 的得分。通过在 OOD 基准测试上对比深度模型预测的噪声向量和闭合解噪声向量的表现,我们的方法在所有类型的图像编码器中胜过以前的 OOD 方法,其中使用 MAE-based 图像编码器达到了 3.5%的性能提升,并且通过应用不同类型的图像编码器来研究 OOD 方法的健壮性,我们的方法在所有图像编码器中表现出良好的鲁棒性。
Jan, 2024
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本文中,我们通过研究生成 “有效” 的 OOD 样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个 $n+1$ 分类器来检测 OOD,其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
本文提出 POORE - POsthoc pseudo-Ood REgularization 框架,通过在内部数据中生成伪 OOD 数据进行 fine-tune,通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入,提高了 OOD 预测任务的准确度,相较现有方法在三个实际对话系统上获得了最新的技术进展。
Oct, 2022