面向外部分布检测的最佳特征塑造方法
提出了一种基于特征屏蔽和对数平滑的后处理 OOD 检测方法,通过减小 OOD 数据的特征激活和增加 ID 与 OOD 数据之间的差距,缓解了神经网络对 OOD 数据的过度自信性预测,并在多个标准 OOD 检测基准上证明了该方法的有效性和兼容性,取得了新的最先进性能。
Oct, 2023
近期的研究中,我们提供了有关最新的超出分布(OOD)检测方法 - 极简激活塑形(ASH)的见解和分析。我们证明了激活修剪对 OOD 检测有着不良影响,而激活缩放则增强了 OOD 检测效果。此外,我们提出了 SCALE,一种简单而有效的后期网络增强方法,同时达到了最先进的 OOD 检测性能和不降低分布准确性。通过将缩放概念融入训练过程以捕捉样本的分布特征,我们提出了一种轻量级训练时间 OOD 检测增强方法 - 中间张量塑形(ISH)。在 OpenOOD v1.5 ImageNet-1K 基准测试中,我们取得了近 OOD 数据集 + 1.85%的 AUROC 分数和远 OOD 数据集 + 0.74%的 AUROC 分数。我们的代码和模型可以在此 https URL 找到。
Sep, 2023
本文提出了一种基于降维增强深度神经网络(DNN)的离群检测方法:通过对高维特征进行线性与非线性降维,得到更真实的特征嵌入子空间,利用其计算分布学习和特征重构误差有效地检测不在分布内的样本,实验结果表明其效果优于一些已有方法。
Dec, 2020
本文提出了一种基于野外混合数据的新颖框架,旨在改进在野外部署的机器学习模型的 OOD 检测能力,通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标,有效地解决了这个问题,并在常见的 OOD 检测任务中获得了优异的性能。
Feb, 2022
机器学习中,识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法,并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性,结果显示性能显著提升,并达到了最新的技术水平。
Jan, 2024
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
通过改进神经网络中 OOD 样本的检测和管理,我们引入了含有噪声滤波技术的 OOD-R 数据集,提高了数据质量和模型准确性,针对模型的过度自信问题,我们还提出了一种创新方法 ActFun 来改善特征提取的稳定性和减小特异性问题,从而更准确地估计 OOD 不确定性。
Mar, 2024
这篇论文集中在最后的卷积层输出的高维特征上,通过将这些高维特征投影到两个具体的特征子空间,借助网络的线性层的降维能力来识别产生在训练分布之外的数据,从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优,通过修改全连接层之前的批归一化和 ReLU 层,减小它们对输出特征分布的影响,扩大了 ID 和 OOD 数据特征之间的分布差距,并在多个基准数据集上进行了广泛实验,展示出最先进的性能。
May, 2024