该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

Sep, 2023

本文从对话建模技术的技术角度回顾了以往的方法，总结了对话理解的特点和挑战，并讨论了三种典型的对话建模模式，还对于提升 PrLM 在对话场景下的表现的对话相关预训练技术进行了分类。此外，本文突出了近年来的技术进步，并指出实证分析的教训和未来研究的前景。

Oct, 2021

本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

Jun, 2018

本文提出了一种新颖的基于主题感知的无监督多轮对话建模方案，该方案通过无监督的主题感知分割算法和主题感知双交互匹配网络实现，在多个公共数据集上的实验结果表明 TADAM 可以胜过现有的最新方法，尤其是在出现明显主题转移的电子商务数据集上提高了 3.3％。

Sep, 2020

本文提出了基于掩码注意力和异构图网络的增强型说话人感知模型，以全面捕捉对话线索，实验结果展示了我们说话人感知模型在基准数据集 Molweni 上取得了最先进的表现，案例分析表明我们的模型增强了话语与说话人之间的联系，并捕捉到了说话人感知的对话关系，对话建模至关重要。

Sep, 2021

本文提出一种联合框架，用于改善多轮对话中回复生成的表现。这种框架结合了阅读理解任务和回复生成任务，共享相同的编码器来提取共同且与任务无关的特征和不同的解码器来学习任务特定的特征。用记忆更新器增强 Transformer 体系结构以更好地将问题和对话历史的信息融合在编码部分，并在大规模对话阅读理解数据集上进行了实验，结果显示该模型对于两个任务都带来了显著的改进。

Dec, 2020

本文提出了一种新型方法，旨在通过建模对话历史中蕴含的有效话语意识和发言人意识表示，从而解决现有基于检索的多轮对话建模中针对言语和说话人角色的细粒度表示不足的问题，并在四个公共基准数据集上显著提高了 ELECTRA 基线的性能，达到了多种新的最新性能。

Sep, 2020

本文提出了一种组合学习方法，进一步超越了预先训练的语言模型，以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制，将每个单词分别聚焦在当前话语，其他话语和两种说话人角色（即发送者话语和接收者话语）上，有效区分上下文信息。此外，该方法在对话领域适应性训练策略上借鉴了域自适应训练策略，成功地在四个公共基准数据集上取得了新的最先进性能。

Jan, 2023

本研究提出了一种新的分离式多轮对话文本转 SQL 框架，使用话语重写模型和单轮 Text-to-SQL 解释器来解决对多轮对话历史建模和数据稀疏性问题，在无标注的情况下表现优异。

Jun, 2021

在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

Jan, 2024