WWWFeb, 2020

面向信息获取会话系统的基于 Transformer 的意图感知响应排名

PDF
TL;DR本研究旨在提高个人助理系统中的回答质量，通过分析用户意图模式，提出了一种基于 Transformer 架构的意图感知自注意力模型（IART），结合了用户意图建模和语言表示学习，并在三个数据集上进行了实验，结果表明该模型优于基准方法。
personal assistant systemsuser intentconversation contextneural response rankingtransformer architecture
发现论文，激发创造
  • 信息检索对话中的用户意图预测

    研究了信息检索中用户意图识别的两个方面，提取基于内容，结构和情感特征的特征，利用经典机器学习方法执行用户意图预测，使用特征重要性分析确定了结构特征对预测的贡献最大，并构建了神经分类器以提高性能。

    Jan, 2019

  • 基于句间注意力机制改进基于 Transformer 的对话语音识别

    本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

    Jul, 2022

  • 在信息交互对话系统中使用深度匹配网络和外部知识进行响应排名

    该研究提出了一种在深度神经匹配网络上利用外部知识进行响应排序的学习框架，实验证明，该方法在包括商业数据在内的三个信息寻求对话数据集上优于各种基线模型，包括多个深度文本匹配模型和多轮对话响应选择的最新方法。

    May, 2018

  • 基于 Transformer 的开放领域口语对话响应评估器

    该研究对基于多个响应生成器的开放域对话系统进行了实验，使用了多种响应排序方法比较 Athena-Heuristic 和 Athena-RR，结果显示 Athena-RR 表现最好，能够在对话中更准确地选择最佳响应。

    Feb, 2023

  • 对话推荐系统中意图识别

    本文研究了对话推荐系统中的最近工作，并介绍了一种将上下文化的输入与学习模型联系起来以支持意图识别的方法，使用 transformer 基础模型在数据集 MSDialogue 上进行了性能评估。

    Dec, 2022

  • 预训练变形金刚模型用于文本排名：BERT 及其它

    本文主要阐述了如何将 transformers 和 self-supervised pretraining 技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行 reranking 的 transformer 模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

    Oct, 2020

  • 对话式信息检索的神经网络方法

    介绍了近年来发展的神经网络方法在对话式信息检索系统中的应用，并聚焦于自然语言处理，多轮对话，以及以人为中心的交互。

    Jan, 2022

  • 利用 BERT 进行信息检索：调查、应用、资源和挑战

    近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以 BERT 为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的 BERT 编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

    Feb, 2024

  • 利用可提取问答变换器构建实际谈话语料库的意图模式

    本研究提出了一种无监督的自动化 pipeline，基于问答模型和聚类方法，能够从真实的对话数据中抽取意图并建立意图分组分类体系，验证结果表明该方法能够解决自然语言理解中的意图识别问题，实现了超过 85% 的区分准确度。

    Aug, 2022

  • 面向目标导向对话系统的自动意图提取和话语分类算法

    自然语言处理领域的现代机器学习技术可用于自动生成目标导向对话系统的脚本。本文提出了一个研究自动生成目标导向对话系统脚本的通用框架，并描述了一种用于预处理 JSON 格式对话数据集的方法。比较了基于 BERTopic 和潜在狄利克雷分配的两种提取用户意图的方法，并比较了基于逻辑回归和 BERT transformer 模型的两种分类用户语句的算法实现。与其他方法相比，使用 bert-base-uncased 模型的 BERT transformer 方法在精确度（0.80），F1 分数（0.78）和马修斯相关系数（0.74）等三个指标上表现更好。

    Dec, 2023