特征空间中的混合能量模型用于超出分布的检测
该论文通过使用预训练深度分类器的特征空间研究了离群分布(OOD)检测问题,发现使用基于能量模型(EBM)学习内部分布特征的密度可以获得有竞争力的检测结果,并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题,相较于 CIFAR-10/CIFAR-100 OOD 检测基准上的 KNN 检测器取得了有利的结果。
Mar, 2024
本文研究了使用能量基模型进行 out-of-distribution 检测,并发现能量基模型并未表现出优越性,我们假设能量基模型在学习语义特征方面存在不足,通过实验验证发现监督学习和架构限制能够提高 EBMs 的 OOD 检测能力。
Jul, 2021
在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而,传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题,本文提出了一个使用能量分数的 ODD 检测的统一框架,理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数,与 CIFAR-10 预训练的 WideResNet 相比,使用能量分数将平均 FPR (在 TPR 95%处)降低了 18.03%,并且使用基于能量的训练,我们的方法在常见基准上表现优异。
Oct, 2020
采用先进的训练策略,利用辅助离群数据训练机器学习模型以改善在真实世界中的离群检测性能。通过引入 Hopfield Boosting 算法,利用现代 Hopfield energy (MHE) 技术加强了模型在内部分布数据和辅助离群数据之间的决策边界,从而实现更精确的离群检测,使 FPR95 指标从 2.28 降低到 0.92(在 CIFAR-10 上)和从 11.76 降低到 7.94(在 CIFAR-100 上)
May, 2024
通过使用三种不同的方法:softmax、能量分数和深度集成,并在三个不同的数据集上进行测试,本研究通过点对点超声图像对乳腺癌进行分类,并发现能量分数方法在两个数据集上优于 softmax 方法,而深度集成方法是最稳健的,在所有三个数据集上最适合检测 OOD 样本。
Feb, 2024
通过将两种现有方法结合起来,用有效的修改方法创新地引入了 AbeT 方法,从而降低了误报率(FPR@95),在分类中相比于现有技术,无需使用多阶段训练网络、超参数或测试时的反向传播。此外,还提供了关于模型如何在仅明确训练 ID 样本的情况下学习区分 ID 和 OOD 样本的经验性见解,并展示了该方法在目标检测和语义分割中识别 OOD 对象对应的预测边界框和像素的有效性,相比于先前技术,在目标检测中 AUROC 增加了 5.15%,在语义分割中 FPR@95 减少了 41.48%,AUPRC 增加了 34.20%。
Jan, 2024
提出了使用正则化流(normalizing flow)结构的基于能量模型(energy-based model)的检测器 FlowEneDet,可以在不重新训练的情况下扩展早先投入使用的语义分割模型,并在 Cityscapes,Cityscapes-C,FishyScapes 及 SegmentMeIfYouCan 四个基准测试集上实现了良好的检测成果。
May, 2023
本研究介绍了一种针对方言的新型边界增强联合能量模型(MEJEM),用于方言中的 OOD 检测。通过集成生成模型和能量边界损失,我们的方法旨在增强方言识别系统的鲁棒性。此外,我们探索了两种 OOD 得分的方言检测方法,研究结果明确表明能量得分优于 softmax 得分。利用锐度感知最小化优化联合模型的训练过程,通过最小化损失和锐度的方法增强模型的泛化性。在方言识别任务上进行的实验证实了基于能量的模型的有效性,并提供了有价值的性能见解。
Jun, 2024
这篇论文集中在最后的卷积层输出的高维特征上,通过将这些高维特征投影到两个具体的特征子空间,借助网络的线性层的降维能力来识别产生在训练分布之外的数据,从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优,通过修改全连接层之前的批归一化和 ReLU 层,减小它们对输出特征分布的影响,扩大了 ID 和 OOD 数据特征之间的分布差距,并在多个基准数据集上进行了广泛实验,展示出最先进的性能。
May, 2024