预训练变形金刚模型在意图分类中的鲁棒性？评估超出范围意图检测的一个缺失要素

ACLJun, 2021

预训练变形金刚模型在意图分类中的鲁棒性？评估超出范围意图检测的一个缺失要素

Are Pretrained Transformers Robust in Intent Classification? A Missing Ingredient in Evaluation of Out-of-Scope Intent Detection

PDF

Jianguo Zhang, Kazuma Hashimoto, Yao Wan, Zhiwei Liu, Ye Liu...

TL;DR本文探讨了在少样本意图识别任务中，在领域内外范围检测的重要性，揭示了预训练 Transformer 模型在领域内但扩展到领域外数据上的漏洞，构建了新的数据集并对模型能力作出实证验证。同时，对模型错误分类的 ID-OOS 意图进行了分析，并提出了若干未来工作方向。

Abstract

Pre-trained transformer-based models were reported to be robust in intent classification. In this work, we first point out the importance of in-domain out-of-scope detection in →

transformer-based models few-shot intent recognition tasks out-of-scope detection id-oos confidence scores

发现论文，激发创造

基于预训练 Transformer 的无监督跨领域检测

本研究利用预训练的 transformers 的潜在特征表示来提出了一种简单而有效的方法，用于通过无监督的领域内数据检测领域外样本，并进一步提出了两种领域特定的微调方法来提高检测准确性。在两个数据集上的实验结果验证了该方法大大提高了更一般情景下的领域外检测能力。

Jun, 2021

意图分类和超出范围预测的评估数据集

该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

Sep, 2019

利用自监督和判别式训练进行超出范围意图检测

本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。

Jun, 2021

探索识别非分布极限

该研究论文表明，大规模预训练的 transformers 网络可以显著提高深度神经网络在接近 out-of-distribution 检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行 outlier exposure 及为该类任务提供名称信息的方法。

Jun, 2021

跨领域意图检测和意图发现的混合架构

本文介绍了通过使用变分自编码器、非监督聚类等方法，解决了任务导向型对话系统中存在的 Out of Scope，Out of Domain 等输入识别问题，以及训练 Intent Detection 模型时的数据集标注问题。在英文和波斯语中的实验结果表明，我们的模型在同时实现 OOD/OOS 意图检测和意图发现方面取得了优异的性能效果，超越了基准线。

Mar, 2023

结合预训练视觉 Transformer 和 CIDER 进行域外检测

研究了使用已预训练的 Transformer 模型在域外检测任务上的性能，并发现 Transformer 模型在默认情况下能够实现更高的检测性能。此外，结合改进方法如 CIDER，还可以进一步提升预训练的 ViT 和 CNN 模型在域外检测任务上的性能。结果表明，Transformer 模型作为域外检测的一种有希望的方法，为该任务在许多场景下建立了更强的基准。

Sep, 2023

预训练转换器提高超出分布鲁棒性

本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD 示例方面更加有效，同时发现更多样化的预训练数据可以增强模型的鲁棒性。

Apr, 2020

通过自然语言推理进行判别最近邻少样本意图检测

本文提出了一种基于神经网络的简单而有效的分类方法，结合了自注意力和交叉编码技术，通过最佳匹配训练样本来估计用户的输入，使用 NLI 传输提高了判别能力，本方法相对 RoBERTa 和最近邻方法在行业内和 OOS 检测准确性上更为稳定和准确性更高，尤其是 10-shot 模型在保持相同推理时间的情况下与 50-shot 或全量 shot 分类器竞争。

Oct, 2020

基于变压器的域外检测中的马氏距离再审视

本文研究了识别出领域外意图的方法，通过对多种上下文编码器和方法进行对比发现，在只使用领域内数据的情况下，基于 Transformer 的编码器 fine-tuning 可以实现更好的性能，而 Mahalanobis 距离与来自 Transformer-based 编码器的话语表示相结合的方法在这方面表现优异

Jan, 2021

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021