Sep, 2020

多轮对话生成中的主题相关性建模

PDF
TL;DR本文提出了一种基于 Biterm Topic Model（BTM）的对话生成模型 STAR-BTM 来解决多轮对话中话题漂移的问题，并在中文客服数据和英文 Ubuntu 对话数据上进行了实验，结果表明 STAR-BTM 在度量和人工评估方面明显优于现有模型。
topic driftdialogue generationcontext relevancebiterm topic modelstar-btm
发现论文，激发创造
  • 主题感知多轮对话建模

    本文提出了一种新颖的基于主题感知的无监督多轮对话建模方案，该方案通过无监督的主题感知分割算法和主题感知双交互匹配网络实现，在多个公共数据集上的实验结果表明 TADAM 可以胜过现有的最新方法，尤其是在出现明显主题转移的电子商务数据集上提高了 3.3％。

    Sep, 2020

  • 基于主题感知的多回合对话理解

    该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

    Sep, 2023

  • 对话系统的上下文主题建模

    本文提出了一种上下文感知的谈话主题分类方法，通过引入对话上下文和对话行为特征，扩展了神经主题分类和无监督主题关键词检测的先前研究，以提高谈话中的主题识别准确性和预测用户评价指标。

    Oct, 2018

  • 面向任务导向对话的主题感知响应生成与非结构化知识访问

    本文提出一种名为 TARG 的基于主题的响应生成模型，改进了基于词或句子相似度来检测相关知识背景的方法，用主题信息来提高对话历史的理解，取得了知识选择和响应生成上的最新成果。

    Dec, 2022

  • 多粒度提示在对话中的话题转移检测

    通过提示式方法从对话中多层次提取主题信息，可以有效地识别对话主题的变化与多样性，且实验结果显示该方法优于现有方法。

    May, 2023

  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020

  • 使用深度话语聚合建模多轮对话

    本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

    Jun, 2018

  • 神经主题分割中上下文建模的改进

    本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

    Oct, 2020

  • 具有潜在变量的顺序主题选择模型用于主题导向对话

    本文提出一种名为 Sequential Global Topic Attention（SGTA）的新方法，将所有对话中主题转换的全局信息柔和地利用起来，以更好地建模以及引导当前对话的回复生成，采用与混合内核函数建模的多变量偏态正态分布的潜在空间预测主题，并利用主题感知的先验 - 后验方法进行次要预测主题的选择，实验证明 SGTA 方法在预测和生成任务上优于竞争基准。

    Oct, 2022

  • 使用动态主题跟踪的多方对话响应选择

    这项研究通过动态主题跟踪任务将回复选择作为一种新的表述方法，并提出了一种支持高效编码的新型多任务学习框架，并且通过预训练模型，仅使用两次讲话来进行动态主题分离和回复选择。同时，还提出了 Topic-BERT 的关键预训练步骤来嵌入主题信息，并在 DSTC-8 Ubuntu IRC 数据集上获得了表现出色的结果。

    Oct, 2020