本文提出了一种组合学习方法，进一步超越了预先训练的语言模型，以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制，将每个单词分别聚焦在当前话语，其他话语和两种说话人角色（即发送者话语和接收者话语）上，有效区分上下文信息。此外，该方法在对话领域适应性训练策略上借鉴了域自适应训练策略，成功地在四个公共基准数据集上取得了新的最先进性能。

Jan, 2023

最近大型语言模型（LLMs）的出现吸引了相当多的注意力。本研究提出利用对话摘要任务评估对话理解性能，并从生成的摘要中推导出事实性问题作为对话理解的更灵活的测量方式。评估结果表明，大多数 LLMs 生成的摘要中有 27% 的事实不一致，即使最强模型 ChatGPT 也有 16% 的错误摘要，而对于更具挑战性的事实问题回答，所有评估的 LLMs 的平均准确率仅为 62.8%。详细分析表明，LLMs 对话理解能力中最令人挑战的问题仍然是对话的主题 / 客体的理解，为了刺激和提高 LLMs 对话理解能力，我们提出了一种通过自动构建多任务数据进行微调的范式，实验结果显示我们的方法在 DIAC-FactQA 上获得了 8.9% 的准确率提升。

Nov, 2023

本文综述了近期在对话机器理解方面最常见的趋势和方法，强调了处理对话历史的不同方法，并提供了一个综合框架，以指导未来对于 Conversational Machine Comprehension 的研究。

Jun, 2020

本文概述了预训练语言模型在对话系统中的应用，目的是讨论这些模型是否能克服对话系统所面临的挑战，以及如何利用它们的架构来克服这些挑战，并探讨了对话系统领域的开放性挑战。

Apr, 2021

本篇论文探讨了临床对话任务中自动化提取相关信息的挑战，提出了使用领域特定的语言预训练方法以提高对话理解的性能，结合具体的人类对话交互方式设计样本生成策略，实验结果表明该方法在低资源训练情况下取得良好表现。

Jun, 2022

研究人员在机器学习和自然语言理解方面的不懈探索中探讨了基于对话的语言学习，发现预测前瞻是一种有前途的学习策略，并表明它可以在没有奖励监督的情况下正确地回答问题。

Apr, 2016

该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

Sep, 2023

本篇论文综述了对话系统的历史发展、基本操作、训练数据集、机器学习方法和评价指标，并探讨了该领域目前面临的挑战和未来前景。

May, 2023

本篇调查研究基于深度学习的对话系统，综述了当前对话系统的研究成果，并分析了模型类型和系统类型两个角度。此篇研究是目前最全面和最新的，深入涵盖了流行的技术，为对话系统领域的新手和想要快速了解最新技术的专业人员提供了很好的启示。

May, 2021

本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。

Sep, 2021