Jun, 2024

探索基于能量模型的方言识别的非分布检测

PDF
TL;DR本研究介绍了一种针对方言的新型边界增强联合能量模型（MEJEM），用于方言中的 OOD 检测。通过集成生成模型和能量边界损失，我们的方法旨在增强方言识别系统的鲁棒性。此外，我们探索了两种 OOD 得分的方言检测方法，研究结果明确表明能量得分优于 softmax 得分。利用锐度感知最小化优化联合模型的训练过程，通过最小化损失和锐度的方法增强模型的泛化性。在方言识别任务上进行的实验证实了基于能量的模型的有效性，并提供了有价值的性能见解。
发现论文，激发创造
  • 基于能量的模型进行了解分布检测

    本文研究了使用能量基模型进行 out-of-distribution 检测，并发现能量基模型并未表现出优越性，我们假设能量基模型在学习语义特征方面存在不足，通过实验验证发现监督学习和架构限制能够提高 EBMs 的 OOD 检测能力。

    Jul, 2021

  • 多标签分类网络是否可以知道它不知道的事情？

    我们提出了一种名为 JointEnergy 的简单有效方法，可以有效降低在多标签分类中的误假阳性率，该方法从多个标签的能量得分中聚合获得 OOD 指示器分数。

    Sep, 2021

  • 特征空间中的混合能量模型用于超出分布的检测

    本论文介绍了 HEAT 模型，它使用混合能量模型在预训练的主干特征空间中估计 ID 样本密度感知 OOD。该模型在 CIFAR-10，CIFAR-100 和 Imagenet 基准上取得了全新的最佳 OOD 检测结果。

    May, 2023

  • 基于能量的区分度检测

    在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而，传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题，本文提出了一个使用能量分数的 ODD 检测的统一框架，理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数，与 CIFAR-10 预训练的 WideResNet 相比，使用能量分数将平均 FPR （在 TPR 95％处）降低了 18.03％，并且使用基于能量的训练，我们的方法在常见基准上表现优异。

    Oct, 2020

  • 特征空间中的能量校正模型用于异常数据检测

    该论文通过使用预训练深度分类器的特征空间研究了离群分布（OOD）检测问题，发现使用基于能量模型（EBM）学习内部分布特征的密度可以获得有竞争力的检测结果，并通过能量校正与类条件高斯分布的混合来解决 MCMC 采样非混合化的问题，相较于 CIFAR-10/CIFAR-100 OOD 检测基准上的 KNN 检测器取得了有利的结果。

    Mar, 2024

  • 基于能量的未知意图检测与数据操作

    本文提出一个使用能量分数来实现未知意图检测的方法，该方法可用于任何分类器，并通过数据操作生成高质量的无分布语音以填补实践中收集困难的空缺，实验结果表明，这种能量检测器可在两种基准数据集上实现最先进的结果。

    Jul, 2021

  • 基于能量学习的领域外意图检测中的置信分数分布分解

    本文提出了一种简单而强大的基于能量的得分函数来检测超领域或未知意图的方法，同时介绍了一种基于能量的边界目标来区分超领域与内部领域，并通过全面的实验和分析证明了该方法有助于解开内部领域和超领域数据的置信度得分分布。

    Oct, 2022

  • 具备光谱归一化联合能量的多标签离群检测

    通过应用能量函数的理论概念和谱归一化方法，本研究提出了一种名为 SNoJoE 的能量函数，用于多标签异常检测任务，实验结果表明相对于先前方法，SNoJoE 在异常检测方面取得了显著改进，定义了该研究领域的新的最佳方法。

    May, 2024

  • 指向便携式超声成像乳腺癌分类方法的非同源检测

    通过使用三种不同的方法：softmax、能量分数和深度集成，并在三个不同的数据集上进行测试，本研究通过点对点超声图像对乳腺癌进行分类，并发现能量分数方法在两个数据集上优于 softmax 方法，而深度集成方法是最稳健的，在所有三个数据集上最适合检测 OOD 样本。

    Feb, 2024

  • 基于能量的 Hopfield Boosting 用于离群检测

    采用先进的训练策略，利用辅助离群数据训练机器学习模型以改善在真实世界中的离群检测性能。通过引入 Hopfield Boosting 算法，利用现代 Hopfield energy (MHE) 技术加强了模型在内部分布数据和辅助离群数据之间的决策边界，从而实现更精确的离群检测，使 FPR95 指标从 2.28 降低到 0.92（在 CIFAR-10 上）和从 11.76 降低到 7.94（在 CIFAR-100 上）

    May, 2024