Mar, 2024

特征空间中的能量校正模型用于异常数据检测

PDF
TL;DR该论文通过使用预训练深度分类器的特征空间研究了离群分布（OOD）检测问题，发现使用基于能量模型（EBM）学习内部分布特征的密度可以获得有竞争力的检测结果，并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题，相较于 CIFAR-10/CIFAR-100 OOD 检测基准上的 KNN 检测器取得了有利的结果。
out-of-distributionood detectionpre-trained deep classifierenergy-based modelsmixture of class-conditional gaussian distributions
发现论文，激发创造
  • 特征空间中的混合能量模型用于超出分布的检测

    本论文介绍了 HEAT 模型，它使用混合能量模型在预训练的主干特征空间中估计 ID 样本密度感知 OOD。该模型在 CIFAR-10，CIFAR-100 和 Imagenet 基准上取得了全新的最佳 OOD 检测结果。

    May, 2023

  • 基于能量的模型进行了解分布检测

    本文研究了使用能量基模型进行 out-of-distribution 检测，并发现能量基模型并未表现出优越性，我们假设能量基模型在学习语义特征方面存在不足，通过实验验证发现监督学习和架构限制能够提高 EBMs 的 OOD 检测能力。

    Jul, 2021

  • 基于能量的区分度检测

    在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而，传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题，本文提出了一个使用能量分数的 ODD 检测的统一框架，理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数，与 CIFAR-10 预训练的 WideResNet 相比，使用能量分数将平均 FPR （在 TPR 95％处）降低了 18.03％，并且使用基于能量的训练，我们的方法在常见基准上表现优异。

    Oct, 2020

  • 基于能量的 Hopfield Boosting 用于离群检测

    采用先进的训练策略，利用辅助离群数据训练机器学习模型以改善在真实世界中的离群检测性能。通过引入 Hopfield Boosting 算法，利用现代 Hopfield energy (MHE) 技术加强了模型在内部分布数据和辅助离群数据之间的决策边界，从而实现更精确的离群检测，使 FPR95 指标从 2.28 降低到 0.92（在 CIFAR-10 上）和从 11.76 降低到 7.94（在 CIFAR-100 上）

    May, 2024

  • 指向便携式超声成像乳腺癌分类方法的非同源检测

    通过使用三种不同的方法：softmax、能量分数和深度集成，并在三个不同的数据集上进行测试，本研究通过点对点超声图像对乳腺癌进行分类，并发现能量分数方法在两个数据集上优于 softmax 方法，而深度集成方法是最稳健的，在所有三个数据集上最适合检测 OOD 样本。

    Feb, 2024

  • 基于能量归一化流的语义分割并发误分类与未知数据检测

    提出了使用正则化流（normalizing flow）结构的基于能量模型（energy-based model）的检测器 FlowEneDet，可以在不重新训练的情况下扩展早先投入使用的语义分割模型，并在 Cityscapes，Cityscapes-C，FishyScapes 及 SegmentMeIfYouCan 四个基准测试集上实现了良好的检测成果。

    May, 2023

  • 探索基于能量模型的方言识别的非分布检测

    本研究介绍了一种针对方言的新型边界增强联合能量模型（MEJEM），用于方言中的 OOD 检测。通过集成生成模型和能量边界损失，我们的方法旨在增强方言识别系统的鲁棒性。此外，我们探索了两种 OOD 得分的方言检测方法，研究结果明确表明能量得分优于 softmax 得分。利用锐度感知最小化优化联合模型的训练过程，通过最小化损失和锐度的方法增强模型的泛化性。在方言识别任务上进行的实验证实了基于能量的模型的有效性，并提供了有价值的性能见解。

    Jun, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 多标签分类网络是否可以知道它不知道的事情？

    我们提出了一种名为 JointEnergy 的简单有效方法，可以有效降低在多标签分类中的误假阳性率，该方法从多个标签的能量得分中聚合获得 OOD 指示器分数。

    Sep, 2021