EMNLPOct, 2022

基于能量学习的领域外意图检测中的置信分数分布分解

PDF
TL;DR本文提出了一种简单而强大的基于能量的得分函数来检测超领域或未知意图的方法，同时介绍了一种基于能量的边界目标来区分超领域与内部领域，并通过全面的实验和分析证明了该方法有助于解开内部领域和超领域数据的置信度得分分布。
发现论文，激发创造
  • 基于能量的区分度检测

    在开放世界中安全部署机器学习模型的重要基础是确定输入是否为 ODD, 然而，传统基于 softmax 置信度得分的方法在 ODD 数据的后验分布上存在过度自信的问题，本文提出了一个使用能量分数的 ODD 检测的统一框架，理论上更能够识别 “内部” 和 “外部” 数据。这个框架内可以灵活地将能量用作得分函数和 OOR 检测的可训练成本函数，与 CIFAR-10 预训练的 WideResNet 相比，使用能量分数将平均 FPR （在 TPR 95％处）降低了 18.03％，并且使用基于能量的训练，我们的方法在常见基准上表现优异。

    Oct, 2020

  • 基于能量的未知意图检测与数据操作

    本文提出一个使用能量分数来实现未知意图检测的方法，该方法可用于任何分类器，并通过数据操作生成高质量的无分布语音以填补实践中收集困难的空缺，实验结果表明，这种能量检测器可在两种基准数据集上实现最先进的结果。

    Jul, 2021

  • 多标签分类网络是否可以知道它不知道的事情？

    我们提出了一种名为 JointEnergy 的简单有效方法，可以有效降低在多标签分类中的误假阳性率，该方法从多个标签的能量得分中聚合获得 OOD 指示器分数。

    Sep, 2021

  • 基于贝叶斯近似的领域外检测分布校准

    本文提出了一种基于贝叶斯模型和 Monte-Carlo Dropout 技术的 OOD 检测框架，能够有效减少训练集和测试集分布的不匹配所导致的不确定性，从而提高 OOD 的 F1 得分。

    Sep, 2022

  • 指向便携式超声成像乳腺癌分类方法的非同源检测

    通过使用三种不同的方法：softmax、能量分数和深度集成，并在三个不同的数据集上进行测试，本研究通过点对点超声图像对乳腺癌进行分类，并发现能量分数方法在两个数据集上优于 softmax 方法，而深度集成方法是最稳健的，在所有三个数据集上最适合检测 OOD 样本。

    Feb, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • UniNL: 通过统一邻域学习将表示学习与评分函数对齐，实现 OOD 检测

    本文提出了一种统一的邻域学习框架 (UniNL) ，用于检测对话系统中的 OOD 意图，该方法在两个基准数据集上的实验证明了其有效性。

    Oct, 2022

  • 估计跨领域意图检测的软标签

    提出了自适应软伪标签 (ASoul) 方法，用于在训练 OOD 检测器时为伪 OOD 样本估计软标签。该方法通过嵌入图捕获伪 OOD 样本和 IND 意图之间的语义连接，并引入协同训练框架来产生结果软标签。在三个基准数据集上的大量实验证明 ASoul 不断改善 OOD 检测性能并优于各种竞争基线。

    Nov, 2022

  • 基于能量的图神经网络异常检测

    针对图形数据的 OOD 检测问题，本论文提出了一种基于图神经网络的能量函数的有效 OOD 鉴别器，命名为 GNNSafe，并在模拟和真实数据集上的评估中证明了它的性能优于现有技术。

    Feb, 2023

  • 超越马氏距离评分的文本 OOD 检测方法

    该论文介绍了一个新的用于识别分布转移的未监督 OOD 检测器 TRUSTED，它基于变压器架构和数据深度的概念，实现了高效计算和最好的性能，能够有效地提高深度学习在实际应用中对于自然语言处理系统的适用性。

    Nov, 2022