EMNLPSep, 2020

HINT3: 提升野外意图检测的标准

PDF
TL;DR介绍了 3 个从不同领域的实时聊天机器人获取的数据集，用于评估意图检测系统。研究发现，现有的数据集往往是通过众包方式获得，为解决此问题，作者提出了使用真实用户查询构建数据集的方法，并验证了 4 个 NLU 平台和一个基于 BERT 的分类器在测试集上的表现。
intent detectionimbalanced datasetslive chatbotsnlu platformsbert
发现论文，激发创造
  • 超越研究数据集：工业场景下的新意图发现

    本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

    May, 2023

  • 以实践为驱动的评估商业意图检测服务的基准测试

    研究比较不同意图检测方法，显示 Watson Assistant 具有高准确度，能较少使用计算资源和训练数据，并在训练和测试分布不同时表现出较高的鲁棒性。

    Dec, 2020

  • 基于 WikiHow 的意图识别

    该论文提出了一套预训练的意图检测模型，该模型通过训练 wikiHow 上的数据，在多语言场景下实现了最先进的结果，并且在零样本和少样本学习上具有较强的性能，即使只使用 100 个训练样本，在所有数据集上达到了超过 75％的准确率。

    Sep, 2020

  • 从过去的对话中挖掘意图信息以供会话代理使用

    本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

    May, 2020

  • 为构建对话代理评估自然语言理解服务

    比较了不同的 NLU 工具在多个领域中的性能，结果表明在意图分类方面 Watson 表现最佳，而在实体类型识别方面表现不佳。

    Mar, 2019

  • 实境游戏学习的自然语言理解：初步评估

    研究了一个新的多任务 NLU 结构在小型领域游戏数据集上进行意图识别的表现，发现相比基线方法，Dual Intent and Entity Transformer (DIET) 架构在野外数据上具有较强的鲁棒性。

    May, 2022

  • R-U-A-Robot 数据集：通过检测用户关于人类或非人类身份的问题来帮助避免聊天机器人欺骗

    本文探讨了人机交互中系统设计与研究者如何允许系统确认其非人身份，研究了大量针对是否为机器人的表述与系统无法识别的内容，比较了不同分类器识别意图的效率和模型复杂度之间的权衡，提出了避免误导的虚假响应型对话系统的思路，并研究了已经投入使用的系统在确认非人身份方面的表现。最后，本文通过用户研究，总结了响应此意图所需的各个方面。

    Jun, 2021

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 面向对话文本的开放意图发现

    该文提出了 “开放式意图发现” 任务并提出了双向 LSTM+CRF 模型、自注意力、对抗训练等新方法，在真实数据集上进行实验，证明了该方法的有效性并达到了领先水平。

    Apr, 2019

  • 基于对话的意图识别：DSTC 11 面向任务导向对话任务的研究

    本文提出一个针对客户服务交互的自动感知意图的基准测试，探讨了虚拟助手、bot 架构设计、意图识别、客户服务交互和评估方法方面的研究成果，并在挑战中收到了来自 34 个团队的提交和结果。

    Apr, 2023