EMNLPOct, 2020

使用对话依赖关系的多轮响应选择

PDF
TL;DR本文提出了一种用于将对话历史转换为线程的对话提取算法，同时采用预训练 Transformer 进行编码并通过注意力层来得到匹配分数，实验表明依赖关系有助于对话上下文的理解，此模型在 DSTC7 和 DSTC8 等任务上的表现优于现有方法。
multi-turn response selectionpre-trained language modelsdialogue extraction algorithmthread-encoder modeldependency relations
发现论文，激发创造
  • 使用动态主题跟踪的多方对话响应选择

    这项研究通过动态主题跟踪任务将回复选择作为一种新的表述方法，并提出了一种支持高效编码的新型多任务学习框架，并且通过预训练模型，仅使用两次讲话来进行动态主题分离和回复选择。同时，还提出了 Topic-BERT 的关键预训练步骤来嵌入主题信息，并在 DSTC-8 Ubuntu IRC 数据集上获得了表现出色的结果。

    Oct, 2020

  • 使用深度话语聚合建模多轮对话

    本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

    Jun, 2018

  • 基于主题感知的多回合对话理解

    该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

    Sep, 2023

  • 基于句法知识的注意力机制在检索式对话系统中的应用

    本研究提出了一种结合了句法信息的注意力机制，被命名为 SIA，考虑到了多轮对话中的句内和句间结构信息，实验结果表明该方法在对话响应匹配中表现出更好的性能。

    Mar, 2023

  • 多域对话状态生成的并行交互网络

    文章提出了一种基于 Parallel Interactive Networks 方法的多域对话状态追踪模型，通过考虑系统和用户话语在同一轮和不同轮之间的依赖关系，利用插槽级别背景信息和分布式复制机制提取更多表达力强的特征，实现追踪对话状态的目的。

    Sep, 2020

  • 检索增强的 Transformer-XL 用于闭域对话生成

    本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。

    May, 2021

  • 多轮响应选择的话语操纵策略

    本文研究了在检索型的多轮对话系统中，如何在给定用户和系统对话历史记录的情况下选择最优回复。本研究发现，利用预训练的语言模型可以解决此类回复选择任务，但这种方法只考虑了历史和候选回复的相关性，而忽略了多轮对话系统的时序性。因此，作者提出了一种称为 utterance manipulation strategies (UMS) 的方法，该方法通过插入、删除和搜索等策略来保持对话一致性。研究结果表明，UMS 是高效的自我监督方法，且可以在多种公共基准测试数据集上推动现有技术的发展。

    Sep, 2020

  • 使用辅助任务训练简单有效的多轮对话生成模型

    本研究探讨多轮开放域对话的响应生成，并通过辅助任务实现上下文理解，提高了生成模型的质量，同时具有更快的解码速度。

    Apr, 2020

  • 具有轴心转换和知识的多轮对话阅读理解

    提出了一种基于 Transformer 的多轮对话阅读理解模型 PoDS，其中从历史对话中提取关键语句作为轴心话语，并利用外部知识增强上下文的表示，以解决常识知识和噪声历史对话的挑战，并在四个对话理解基准任务上表现出明显的改进。

    Feb, 2021

  • 主题感知多轮对话建模

    本文提出了一种新颖的基于主题感知的无监督多轮对话建模方案，该方案通过无监督的主题感知分割算法和主题感知双交互匹配网络实现，在多个公共数据集上的实验结果表明 TADAM 可以胜过现有的最新方法，尤其是在出现明显主题转移的电子商务数据集上提高了 3.3％。

    Sep, 2020