探索在超出范围检测任务中利用密集向量和独热编码对意图类别的优势

May, 2022

探索在超出范围检测任务中利用密集向量和独热编码对意图类别的优势

Exploring the Advantages of Dense-Vector to One-Hot Encoding of Intent Classes in Out-of-Scope Detection Tasks

Claudio Pinhanez, Paulo Cavalin

TL;DR本文研究了使用一种流行的 one-hot 编码方法进行意图分类时，当需要检测超出范围的输入时，其固有限制。我们通过比较基于领域特定知识的密集向量和 one-hot 编码技术，探讨了大规模自然语言处理中 OOS 探测的问题，实验结果表明，知识无关，随机生成的密集向量编码比 one-hot 编码技术可以显著提高 OOS 检测性能。同时，我们提出了一种新的算法来搜索好的密集向量编码并对其进行了初步的实验结果分析。

Abstract

This work explores the intrinsic limitations of the popular one-hot encoding method in classification of intents when detection of out-of-scope (OOS) inputs is required. Although recent work has shown that there can be significant improvements in OOS detection when the intent classes a

one-hot encoding out-of-scope detection intent classification dense-vector encoding algorithm

发现论文，激发创造

跨领域意图检测和意图发现的混合架构

本文介绍了通过使用变分自编码器、非监督聚类等方法，解决了任务导向型对话系统中存在的 Out of Scope，Out of Domain 等输入识别问题，以及训练 Intent Detection 模型时的数据集标注问题。在英文和波斯语中的实验结果表明，我们的模型在同时实现 OOD/OOS 意图检测和意图发现方面取得了优异的性能效果，超越了基准线。

Mar, 2023

超越 One-hot 编码：低维目标嵌入

本研究提出了一种将目标嵌入到低维空间以提高神经网络收敛速度的方法，其中采用随机投影技术以零计算成本提高了收敛速度，并使用归一化的特征值表示类流形以提高编码的准确性。实验证明该方法能显著提高 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 数据集上的神经网络收敛速度和准确率。

Jun, 2018

预训练变形金刚模型在意图分类中的鲁棒性？评估超出范围意图检测的一个缺失要素

本文探讨了在少样本意图识别任务中，在领域内外范围检测的重要性，揭示了预训练 Transformer 模型在领域内但扩展到领域外数据上的漏洞，构建了新的数据集并对模型能力作出实证验证。同时，对模型错误分类的 ID-OOS 意图进行了分析，并提出了若干未来工作方向。

Jun, 2021

从技术领域的术语和短语中提取文本表示

本文提出了一种全无监督的文本编码方法，通过训练小型基于字符的模型重构预训练的嵌入矩阵，该方法不仅能够在技术领域匹配句子编码器的质量，而且比后者体积小 5 倍且速度高达 10 倍，解决了大规模技术领域下词汇量增加的问题。

May, 2023

仅使用领域内语句的神经句子嵌入在对话系统中检测领域外句子

为了保证用户体验，本文提出了一种新颖的神经句子嵌入方法，通过在低维连续向量空间中表示句子来区分领域内和领域外的句子，并通过学习以识别领域外的句子。在八个领域的对话系统中实验比较表明，我们提出的方法在所有测试中都获得了最高的准确性。

Jul, 2018

通过自然语言推理进行判别最近邻少样本意图检测

本文提出了一种基于神经网络的简单而有效的分类方法，结合了自注意力和交叉编码技术，通过最佳匹配训练样本来估计用户的输入，使用 NLI 传输提高了判别能力，本方法相对 RoBERTa 和最近邻方法在行业内和 OOS 检测准确性上更为稳定和准确性更高，尤其是 10-shot 模型在保持相同推理时间的情况下与 50-shot 或全量 shot 分类器竞争。

Oct, 2020

编码分类数据：除了一位有效编码，还有更热门的编码方式吗？

在一个来自 OpenML 仓库的大规模分类问题样本中，通过对实验数据拟合线性混合效应模型，我们发现在多类别任务中，独热编码和 Helmert 对比编码优于基于目标的编码器。在二分类任务中，不同的编码方案之间没有显著差异；然而，独热编码对结果有一定积极影响。重要的是，我们发现编码方案与分类特征的特性之间没有显著交互作用，这说明我们的发现适用于不同领域的各种问题。

Dec, 2023

文本检索中的稀疏、密集和注意力表示

该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

May, 2020

学习概念嵌入以实现高效的概念密集化

本文介绍一种利用神经嵌入模型生成连续概念向量并以此聚合生成完全连续性 Bag of Concepts 表示方法的技术，用以解决目前 Bag of Concepts 表示方法低概念重合度所导致的相似度分数偏低问题，并在实验中展示了在实体语义关联度、概念分类和无数据文件分类等领域上相对于其他模型的卓越性能。

Feb, 2017

分类和回归任务中分类变量编码器性能的比较研究

本研究对 14 种编码器以及八种常见机器学习模型在 28 个数据集上进行了全面的实验评估，发现了不同编码器在不同情境下的最佳选择，并为数据科学家在欺诈检测、疾病诊断等领域提供了选择合适编码器的指导。

Jan, 2024