本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

Dec, 2020

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

Apr, 2020

该论文提出了一种基于序列标注的对话重写模型，通过在 REINFORCE 框架下注入 BLEU 或 GPT-2 等损失信号，提高了生成语句的流畅度，进而在领域转移方面显示出比当前最先进系统更大的改进。

Dec, 2020

本论文提出了一种基于 TRADE 的可转移对话状态生成器，结合简单有效的话语标记技术和双向语言模型的多任务学习模型，旨在解决基线性能在长对话上大幅下降的问题，最终在 MultiWOZ 2.0 数据集上实现了 52.04％的联合目标准确性，相对提高了 7.03％，成为了最新的最先进技术。

Apr, 2020

本研究提出一种解决任务型对话系统中曝光偏差问题的方法，通过采用会话级别的采样和基于 dropout 的一致性正则化来提高模型的鲁棒性和性能， 并在 MultiWOZ 基准测试上取得了最先进的性能。

Sep, 2022

本文提出一种基于 BERT 的简单而有效的对话状态跟踪模型，避免了当前神经架构通常存在的繁琐和复杂，具有不随本体论规模增长和适用于领域本体动态变化的优点。经实验验证，该模型在标准 WoZ 2.0 数据集上显著优于以往方法，经知识蒸馏压缩后性能依旧可与原模型相媲美，在资源受限的系统中表现出出色的效果。

Oct, 2019

本文提出了一种基于语义实体自回归的端到端任务导向对话系统，通过逐步生成语义实体并结合当前对话上下文，生成更高质量、一致性更强的对话回复。

Sep, 2022

本文介绍了一种名为 BootTOD 的新型对话预训练模型，通过自我引导框架学习面向任务的对话表示。与对比方法不同，BootTOD 可以对齐上下文和上下文 + 回复表示，并摒弃了对比对的要求。BootTOD 还使用多个合适的回复目标来模拟人类对话的内在多对多的多样性。实验证明，BootTOD 在不同的下游对话任务上优于强大的 TOD 基线模型。

Mar, 2024

提出了一种整合局部和全局语义的新模型 Dialogue BERT (DialBERT) 来解决在同一通道中同时发生多个对话的混淆问题，其中使用 BERT 在 utterance 级别捕捉每个 utterance 对信息的匹配信息，并使用 BiLSTM 聚合和合并 context 级别信息，与 BERT 相比，只增加了 3% 的参数，并取得了 12% 的 F1-Score 提升，该模型在 IBM 提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。

Apr, 2020

本文提出一种双向推理的生成模型，通过向基础的编码解码模型添加后向推理步骤，推动模型产生更多信息丰富、连贯的回复，实现了双向优化，最终提升了响应质量，成为当前响应质量最好的方法之一。

Apr, 2021