AAAIJan, 2021

基于变压器的域外检测中的马氏距离再审视

PDF
TL;DR本文研究了识别出领域外意图的方法，通过对多种上下文编码器和方法进行对比发现，在只使用领域内数据的情况下，基于 Transformer 的编码器 fine-tuning 可以实现更好的性能，而 Mahalanobis 距离与来自 Transformer-based 编码器的话语表示相结合的方法在这方面表现优异
machine learningout-of-domain detectionintent classificationtransformer-based encodersmahalanobis distance
发现论文，激发创造
  • 基于预训练 Transformer 的无监督跨领域检测

    本研究利用预训练的 transformers 的潜在特征表示来提出了一种简单而有效的方法，用于通过无监督的领域内数据检测领域外样本，并进一步提出了两种领域特定的微调方法来提高检测准确性。在两个数据集上的实验结果验证了该方法大大提高了更一般情景下的领域外检测能力。

    Jun, 2021

  • 基于马氏距离的非监督式外部方言检测

    我们提出了一个简单而有效的无监督马氏距离特征方法，在流行的 wav2vec 2.0 变换器式方言分类器模型的所有中间层的潜在嵌入上进行多任务学习，用于检测超出分布的样本，并在 OOD 检测方法方面显著优于其他最先进的方法。

    Aug, 2023

  • 预训练变换器的对比分布外检测

    本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

    Apr, 2021

  • 马哈拉诺比斯感知训练用于外部分布检测

    在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

    Nov, 2023

  • 利用马氏距离改善重建自编码器的 OD 检测

    本文针对在安全关键应用中如自主车辆系统的分类验证需求，提出了在潜变量空间中使用马氏距离来捕获偏离已知正常样本和模型参数定义的潜变量流形之间的异常值，以提高异常检测性能。

    Dec, 2018

  • 使用马氏距离的神经网络在医学影像中用于外部数据检测

    通过使用合成物件来模拟 OOD 模式，本文展示了应用马氏距离的最佳层取决于 OOD 模式的类型，没有一种一刀切的解决方案。本文还表明将 OOD 检测器分为网络的不同深度可以增强对不同 OOD 模式的鲁棒性。这些结果对于使用马氏距离进行 OOD 检测的最佳实践具有启发作用。

    Sep, 2023

  • 无需领域内标签：文本领域外检测

    本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

    Mar, 2022

  • 度量学习与自适应边界用于域外检测

    设计了一种基于度量学习和自适应决策边界的 OOD 检测算法，相较于其他算法，在类别数量较少的情况下显著提高 OOD 性能，保持了 IND 类别的准确性。

    Apr, 2022

  • 重新思考基于重构自编码器的异常检测

    使用基于重构自编码器的方法处理离群样本检测问题，通过最大化压缩自编码器的潜在空间、语义重构、数据置信度分解和归一化 L2 距离等策略有效地提高方法性能，达到了各类基准测试的最新技术水平。

    Mar, 2022

  • 通过自然语言推理进行判别最近邻少样本意图检测

    本文提出了一种基于神经网络的简单而有效的分类方法，结合了自注意力和交叉编码技术，通过最佳匹配训练样本来估计用户的输入，使用 NLI 传输提高了判别能力，本方法相对 RoBERTa 和最近邻方法在行业内和 OOS 检测准确性上更为稳定和准确性更高，尤其是 10-shot 模型在保持相同推理时间的情况下与 50-shot 或全量 shot 分类器竞争。

    Oct, 2020