本文提出了一种组合学习方法，进一步超越了预先训练的语言模型，以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制，将每个单词分别聚焦在当前话语，其他话语和两种说话人角色（即发送者话语和接收者话语）上，有效区分上下文信息。此外，该方法在对话领域适应性训练策略上借鉴了域自适应训练策略，成功地在四个公共基准数据集上取得了新的最先进性能。

Jan, 2023

本文提出了基于掩码注意力和异构图网络的增强型说话人感知模型，以全面捕捉对话线索，实验结果展示了我们说话人感知模型在基准数据集 Molweni 上取得了最先进的表现，案例分析表明我们的模型增强了话语与说话人之间的联系，并捕捉到了说话人感知的对话关系，对话建模至关重要。

Sep, 2021

本文提出了一种新颖的基于主题感知的无监督多轮对话建模方案，该方案通过无监督的主题感知分割算法和主题感知双交互匹配网络实现，在多个公共数据集上的实验结果表明 TADAM 可以胜过现有的最新方法，尤其是在出现明显主题转移的电子商务数据集上提高了 3.3％。

Sep, 2020

本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

Jun, 2018

该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

Sep, 2023

本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

Feb, 2022

在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效性。我们的研究结果强调了构建多样化的预训练数据集以确保与下游数据集的有效对应的重要性。

Jan, 2024

本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

Apr, 2020

该研究提出了一种将人类话语重写作为预处理方法，以帮助多轮对话建模。使用指针网络提出的基于 Transformer 的话语重写架构训练的话语重写器可以轻松地集成到在线聊天机器人中，并在不同领域带来一般性能的提升。

Jun, 2019

该论文介绍了如何使用对比学习和多任务学习相结合的方法来提高上下文建模中的缺失语句重写系统的目的。实验表明，该方法在几个公共数据集上均达到了最先进的性能。

Mar, 2022