基于拓扑特征的基于 Transformer 的语言模型检测文本中的离群值

Nov, 2023

基于拓扑特征的基于 Transformer 的语言模型检测文本中的离群值

Detecting out-of-distribution text using topological features of transformer-based language models

Andres Pollano, Anupam Chaudhuri, Anj Simmons

TL;DR通过在基于 transformer 的语言模型中的注意力图上应用拓扑数据分析（TDA）来检测超出分布（OOD）的文本样本。我们评估了我们提出的基于 TDA 的 OOD 检测方法在 BERT 上的效果，并与基于 BERT CLS 嵌入的传统 OOD 方法进行了比较。我们发现，我们的 TDA 方法在区分内部数据（HuffPost 的政治和娱乐新闻文章）与远离领域样本（IMDB 评论）方面优于 CLS 嵌入方法，但其效果在接近领域（CNN / Dailymail）或相同领域（HuffPost 的商业新闻文章）数据集上逐渐减弱。

Abstract

We attempt to detect out-of-distribution (OOD) text samples though applying topological data analysis (TDA) to attention maps in transformer-based language models. We evaluate our proposed TDA-based approach for out-of-distribution detection on →

out-of-distribution detection topological data analysis transformer-based language models bert cls embeddings

发现论文，激发创造

文本分类任务中传统的外部分布检测方法的基准测试

本文着重介绍了现有方法在处理 NLP 中 OOD 检测时的局限性，对八种常见的 OOD 检测方法进行了评估并分析了其存在的问题，发现现有方法对于各类型分布偏移的检测敏感性不够，在领域内文本中存在令人困惑的测试场景，而需要开发更有效的 OOD 检测方法，本文为未来的研究提供了一个良好的、定义明确的基础。

Jul, 2023

超越马氏距离评分的文本 OOD 检测方法

该论文介绍了一个新的用于识别分布转移的未监督 OOD 检测器 TRUSTED，它基于变压器架构和数据深度的概念，实现了高效计算和最好的性能，能够有效地提高深度学习在实际应用中对于自然语言处理系统的适用性。

Nov, 2022

通过检查注意力图的拓扑来检测人工文本

利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

Sep, 2021

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

OODformer: 异常检测变形金刚

该论文提出了一种名为 OODformer 的新型 OOD 检测架构，利用 transformer 的上下文能力来区分内部分布和 OOD 样本，通过视觉注意力利用上下文嵌入提高了分类的通用性，在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。

Jul, 2021

VI-OOD：文本外分布检测的统一表示学习框架

使用 Transformers，本文提出了一种针对文本型 OOD 检测的新颖变分推断框架（VI-OOD），通过有效利用预训练 Transformers 的表示，最大化联合分布 $p (x, y)$ 的似然度，从而解决了现有 OOD 检测方法中出现的问题。通过对多个文本分类任务的广泛实验，VI-OOD 展示了其高效性和广泛适用性。

Apr, 2024

如何检测不同类型的离群文本

本文提供了关于 Out-of-distribution 检测方法的研究，发现在检测背景变化的数据方面，密度估计表现更好，而在语义变化的数据方面则模型校准表现更好。同时指出当前方法在挑战数据检测方面存在缺陷，需要对 OOD 进行明确的定义。

Sep, 2021

无需领域内标签：文本领域外检测

本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

Mar, 2022

自然语言处理中的超领域检测综述

本文回顾了最近关于 out-of-distribution 检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

May, 2023

鲁棒语言模型的伪 OOD 训练

本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

Oct, 2022