提出了一种名为ConveRT的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。

Nov, 2019

提出了一种整合局部和全局语义的新模型Dialogue BERT(DialBERT)来解决在同一通道中同时发生多个对话的混淆问题，其中使用BERT在utterance级别捕捉每个utterance对信息的匹配信息，并使用BiLSTM聚合和合并context级别信息，与BERT相比，只增加了3%的参数，并取得了12%的F1-Score提升，该模型在IBM提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。

Apr, 2020

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT，并且具有更强的少量数据学习能力。

Apr, 2020

本文介绍了 DialoGLUE，一种公共基准，旨在鼓励对话研究的表示转移，领域自适应和样本有效任务学习。通过 DialoGLUE 基准，基线方法和评估脚本，我们希望促进发展更为通用的任务导向型对话模型。

Sep, 2020

本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层Transformer架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于PLM的对话模型，在三个多轮对话数据集上进行实验证明，相比于BART和DialoGPT，DialogBERT在定量评估方面表现出色，并且在人类评估中证明，DialogBERT比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

Dec, 2020

本文概述了预训练语言模型在对话系统中的应用, 目的是讨论这些模型是否能克服对话系统所面临的挑战, 以及如何利用它们的架构来克服这些挑战，并探讨了对话系统领域的开放性挑战。

Apr, 2021

本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。

May, 2021

本文旨在构建一种统一的会话基础模型，通过收集大规模多样化的对话数据集和引入自监督任务，提高该模型的稳定性。实验结果表明，与其他相同规模的模型相比，该模型在跨领域对话任务方面有着领先的表现。

May, 2022

本文介绍了学习无监督对话嵌入的任务，并提出了一种自我导向的对比学习方法来引导学习通过交流互动捕捉对话互动模式的对话嵌入，各种评估实验证明该方法比最强基准方法平均改进了8.7-13.8个百分点，而交流互动引导下的嵌入最佳性能是通过对话者级别汇聚策略获得的。

Oct, 2022

提出了一种简单而有效的分级对话理解模型HiDialog，其中应用了多个特殊Token和层级转向注意力来模拟不同问题的语义，以及异构图模块来优化学到的语义嵌入，证明该模型在对话关系提取、对话情感识别和对话行为分类等多个任务上均达到了最先进水平。

Apr, 2023