应对分布偏移鲁棒性的有效基线
本文提出了一种简单而有效的方法,可用于检测任何异常样本,适用于任何预训练的 softmax 神经分类器,在高鲁棒性方面表现优越,同时在检测离群样本和对抗样本方面都取得了最先进的性能,在分类增量学习中有着更广泛的应用。
Jul, 2018
研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现,深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器,并提供所有实验代码。
Jun, 2021
本文提出了一种新的分类器训练方法,通过对深度神经网络引入两个额外的术语来增强分类器的推断性能,并同时训练分类和生成神经网络以解决样本的分布问题,该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。
Nov, 2017
使用一种新的损失函数来训练深度神经网络进行分类并进行避免错标操作,使 DNN 在困惑的样本上避免误差,并在非避免的样本上继续学习和提高分类性能,并证明其在不同类型的标签噪声下的强大实用性
May, 2019
在本研究中,我们提出了一种新的损失函数和网络训练方法,以提高密度感知的开放世界环境中对异常和越界样本的检测能力,并在 CIFAR-10 数据集上进行了验证,将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。
Nov, 2023
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法,我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测,在该任务中表现优异,并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外,我们还解决了置信度检测器校准问题,即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。
Feb, 2018
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式,可以灵活地与现有方法相结合,提高现有的 Out-of-distribution detection 方法的鲁棒性,CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。
Mar, 2020
本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架,并将该技术应用于 ImageNet 数据集,分析结果揭示了多个新观察,包括知识蒸馏能够一致提高分布外实例检测性能,ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。
Feb, 2023
我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围,在黑盒系统中,通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应,并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型,用以检测未知的细菌样本,并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。
Mar, 2024