基于损失景观角度重新审视深度集成用于外部分布检测
深度学习中用深度集成方法提升神经网络的鲁棒性能,在大规模图片数据集中使用互信息指标 (OOD)的检测效果比单一模型的熵指标要劣 30-40%,使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。
Jul, 2022
通过创新的方法将不同的监督任务纳入传统的模型集成,构建了多理解(MC)集成机制,通过生成数据和标签的不同理解来拓展特征表达领域,实验证明了该方法相对于其他方法在 OOD 检测中的卓越性能。
Mar, 2024
本研究提出了第一个多尺度的 “模式”(MODE)框架,通过同时利用图像的全局视觉信息和局部区域细节来实现最大效益的外域检测。通过引入注意力机制和交叉尺度决策函数,MODE 在几个基准测试中表现出卓越的性能,平均可以在误报率上提高 19.24%、在 AUROC 上提高 2.77%。
Aug, 2023
本论文提出一种基于深度学习和分类器集成的方法,通过独特的基于边界的损失函数来可靠地检测出分布外数据,同时在超过一些 OOD 检测基准上明显优于现有算法。
Sep, 2018
深度神经网络在各种技术和服务中得到越来越广泛的应用,但其容易受到来自训练集不同分布的样本的干扰,而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准,根据与训练集的语义相似性,将个别类别分为内部分布和外部分布,通过不同的技术确定哪些类别应被视为内部分布,得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明,它们的有效性取决于所选择的评估标准,而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。
Apr, 2024
我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围,在黑盒系统中,通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应,并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型,用以检测未知的细菌样本,并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。
Mar, 2024
通过研究深度神经网络的损失函数平面的同构性,我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面,并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。
Dec, 2019
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024
本研究提出了一种改进基于像素 softmax 熵的方法的两步流程,通过引入第二个训练目标,最大化对不同数据集的 softmax 熵,并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率,从而提高深度神经网络的 OoD 检测性能。
Dec, 2020