May, 2024

基于双编码和阈值重分类的改进型越界意图分类

PDF
TL;DR检测任务导向对话和意图分类中的超范围用户话语是至关重要的。我们提出了一种名为 DETER 的双编码器阈值重新分类的端到端框架，用于解决当前方法在处理异常值的不可预测分布上所面临的困难，并且不需要对数据分布或额外的后处理步骤做出假设。DETER 的核心利用双文本编码器 —— 通用句子编码器（USE）和基于 Transformer 的去噪自编码器（TSDAE），生成用户话语嵌入，通过分支神经架构进行分类。DETER 还利用自我监督生成合成异常值，并结合来自开放域数据集的超范围短语，确保了超范围检测的全面训练集。此外，基于阈值的重新分类机制对模型的初始预测进行细化。在 CLINC-150、Stackoverflow 和 Banking77 数据集上的评估证明了 DETER 的有效性，我们的模型在 CLINC-150 和 Stackoverflow 上的已知和未知意图的 F1 分数分别提高了 13% 和 5%，在 Banking77 上已知意图提高了 16%，未知意图提高了 24%。源代码已在此网址发布。
out-of-scope user utterancesintent classificationdual encoder for threshold-based re-classification (deter)dual text encodersthreshold-based re-classification mechanism
发现论文，激发创造
  • 利用自监督和判别式训练进行超出范围意图检测

    本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。

    Jun, 2021

  • 级联 DETR：深入高质量的通用目标检测

    我们引入了 Cascade-DETR 用于高质量的通用目标检测，通过提出级联注意力层来共同解决对多样领域的泛化和定位准确性问题，通过限制关注先前的目标框预测来显式地将对象中心信息集成到检测解码器中。为了进一步提高准确性，我们重新审视了查询的评分，不依赖于分类分数，而是预测查询的预期 IoU，从而显著提高了置信度的校准性，最后，我们引入了一个包含来自多个领域的 10 个数据集的通用目标检测基准，UDB10，在 COCO 上也取得了最新的进展，Cascade-DETR 在 UDB10 的所有数据集上都对基于 DETR 的检测器有了显著的改进，有些甚至超过 10 个 mAP，严格质量要求下的改进效果更加显著。

    Jul, 2023

  • 使用双语句编码器的高效意图检测

    该研究提出一种利用预训练双句编码器的意图检测方法，证明在少样本学习场景下，该方法比全 BERT-Large 模型的意图检测器表现更加稳定、更具普适性，且能够在短时间内训练并保持超参数稳定性。此外，研究团队还发布了相关代码和单域 13,083 个 annotated 样本的 77 种意图的数据集。

    Mar, 2020

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 基于双编码器的检测器用于识别未知分布

    本文介绍了一种新的方法，利用双编码器检测器，并通过比较不同的特征提取器在自然语言处理（NLP）中的不同外域检测方法进行全面研究。实验结果表明，该方法在所有数据集上都优于其他方法，具有很大的潜力应用于 NLP 领域的 OOD 检测中。

    Jun, 2023

  • 少即是多：聚焦注意力的高效 DETR

    DETR-like 模型相比传统卷积模型有很大的提升效果，然而现有的编码器结构中所有的令牌都被平等对待，不加区分地处理给传统的编码器结构带来了冗余计算负担，因此提出了 Focus-DETR 来得到更好的计算效率和模型准确性的权衡，通过使用双重注意力的编码器对更具信息量的令牌进行关注，并通过得分来增强细粒度对象查询的语义交互。

    Jul, 2023

  • MDETR -- 基于调制的端到端多模态理解检测

    该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。

    Apr, 2021

  • DARER: 双任务时序关系循环推理网络用于联合对话情感分类和行为识别

    该研究提出了一种新的框架和模型，通过引入预测级交互和时态表示，实现了联合对话情感分类和行为识别任务，与现有模型相比，性能更好，需要更少的计算资源和培训时间。

    Mar, 2022

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 显著性 DETR：用分层显著性过滤改进检测 Transformer

    通过引入分层显著性筛选细化和稳定的两阶段初始化查询模块，该研究论文在 DETR 类方法中取得了显著的性能提升，克服了规模偏差和语义不匹配的问题，并在多个任务特定的检测数据集上实现了 4.0% ~ 4.4% 的平均准确率（AP）提高以及在 COCO 2017 数据集上实现了 49.2% 的 AP 提高，并且使用更少的 FLOPs 达到了更高的计算效率。

    Mar, 2024