自动驾驶数据集上的离群样本检测性能评估
本文通过在不同的数据集上使用深度学习的方法,实现了以城市街道场景为基础的图像识别模型对于不同场景下的物体进行准确分类和目标检测,并且通过对于特征向量的提取和降维,成功实现了基于图像碎片的图像检索和分割。
May, 2020
本文提出了一种针对视觉分类中的开放世界场景中的数据分割问题的新方法,该方法能够训练出一个专门针对原始训练集以及更大的 “背景” 数据集的 ODD(出现在分布之外的异常值)检测模型,并在测试复杂自然图像的数据集中得到了优异的表现。
Aug, 2018
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
本研究提出了一种改进基于像素 softmax 熵的方法的两步流程,通过引入第二个训练目标,最大化对不同数据集的 softmax 熵,并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率,从而提高深度神经网络的 OoD 检测性能。
Dec, 2020
研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现,深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器,并提供所有实验代码。
Jun, 2021
在本研究中,我们提出了一种新的损失函数和网络训练方法,以提高密度感知的开放世界环境中对异常和越界样本的检测能力,并在 CIFAR-10 数据集上进行了验证,将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。
Nov, 2023
本研究针对 Deep Neural Networks 对于训练集以外数据的表现会出现不可预测情况,提出 out-of-distribution detection 机制,并通过 Monte Carlo 方法推测性能,指出当前的 evaluation protocols 可能无法可靠估计 OOD 方法的预期表现。
Mar, 2022
我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围,在黑盒系统中,通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应,并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型,用以检测未知的细菌样本,并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。
Mar, 2024
本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能,包括超级监督的应用及其训练过程中的性能评估,研究表明理解训练结果与监督性能与提高模型强健性密切相关,为安全应用提供了论据,并应用于两个额外的数据集。
Apr, 2022
确保自动驾驶的安全性是汽车行业的主要挑战,特别关注人工智能,尤其是深度神经网络作为高度自动化驾驶实现的关键技术;本研究提出了一个在线安全机制的概念验证,能够检测数据是否遗漏训练领域,并在 Synthia 数据集上实验,显示百分之百正确检测输入数据是否在领域内;检测车辆离开领域的能力可能成为认证的重要要求。
Oct, 2023