基于能量的 Hopfield Boosting 用于离群检测

May, 2024

基于能量的 Hopfield Boosting 用于离群检测

Energy-based Hopfield Boosting for Out-of-Distribution Detection

Claus Hofmann, Simon Schmid, Bernhard Lehner, Daniel Klotz, Sepp Hochreiter

TL;DR采用先进的训练策略，利用辅助离群数据训练机器学习模型以改善在真实世界中的离群检测性能。通过引入 Hopfield Boosting 算法，利用现代 Hopfield energy (MHE) 技术加强了模型在内部分布数据和辅助离群数据之间的决策边界，从而实现更精确的离群检测，使 FPR95 指标从 2.28 降低到 0.92（在 CIFAR-10 上）和从 11.76 降低到 7.94（在 CIFAR-100 上）

Abstract

Out-of-distribution (OOD) detection is critical when deploying machine learning models in the real world. outlier exposure methods, which incorporate auxiliary outlier data in the training process, can drastically improve OOD detection performance compared to approaches without advance

out-of-distribution detection outlier exposure methods hopfield boosting hopfield energy ood detection

发现论文，激发创造

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

基于能量的区分度检测

在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而，传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题，本文提出了一个使用能量分数的 ODD 检测的统一框架，理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数，与 CIFAR-10 预训练的 WideResNet 相比，使用能量分数将平均 FPR （在 TPR 95％处）降低了 18.03％，并且使用基于能量的训练，我们的方法在常见基准上表现优异。

Oct, 2020

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

特征空间中的混合能量模型用于超出分布的检测

本论文介绍了 HEAT 模型，它使用混合能量模型在预训练的主干特征空间中估计 ID 样本密度感知 OOD。该模型在 CIFAR-10，CIFAR-100 和 Imagenet 基准上取得了全新的最佳 OOD 检测结果。

May, 2023

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

提高样本外检测的三个因素

通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

Aug, 2023

使用后验采样进行异常检测

提出一种新颖的基于后验采样的异常值挖掘框架（POEM），促进了异常数据的有效使用，并提高了识别内部和外部数据之间紧凑决策边界的性能，相对于现有最佳方法，在 CIFAR-10 和 CIFAR-100 上的 FPR95 相对性能分别提高了 42.0％和 24.2％，并在理论上证明了 POEM 用于 OOD 检测的有效性。

Jun, 2022

利用扩散先验进行外部分布检测

利用扩散模型的生成能力和 CLIP 的强大特征提取能力，我们提出了一种新颖的 OOD 检测方法，通过使用这些特征作为扩散模型的条件输入，我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号，我们的方法不需要类别特定的标记，提高了实用性和可扩展性，且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。

Jun, 2024

特征空间中的能量校正模型用于异常数据检测

该论文通过使用预训练深度分类器的特征空间研究了离群分布（OOD）检测问题，发现使用基于能量模型（EBM）学习内部分布特征的密度可以获得有竞争力的检测结果，并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题，相较于 CIFAR-10/CIFAR-100 OOD 检测基准上的 KNN 检测器取得了有利的结果。

Mar, 2024

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020