本文介绍了 DialoGPT，一种大型的、可调整的神经对话响应生成模型，它在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。在单轮对话设置中，DialoGPT 能够达到接近人类的性能水平，能够生成比强基线系统更相关、更富有内涵和更具上下文一致性的响应。该预训练模型和训练流程已公开发布，以促进神经响应生成研究和更智能的开放域对话系统的开发。

Nov, 2019

本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

Aug, 2021

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。

May, 2021

本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务（如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答）中的表现及其个性化响应能力，并与现有的国际先进水平（SOTA）解决方案进行了比较。结果表明，任务难度越高（低 SOTA 表现），ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见，在一定程度上限制了 ChatGPT 的有效性。

Feb, 2023

本文介绍了针对非洲语言首次提供的高质量对话数据集，并通过深度单语模型 DialoGPT 和 BlenderBot 以及基准模型 seq2seq 对其进行建模，利用重叠度进行效果分析，同时通过人类评估方法验证其有效性，发现深度单语模型可以学习一些泛化跨语言的抽象，人类得分最高的是奈及利亚皮钦英语。

Apr, 2022

本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

May, 2023

本文介绍了一种创新方法 DiagGPT，将大型语言模型（LLMs）扩展到任务导向对话（TOD）场景，并通过实验证明 DiagGPT 在 TOD 方面表现出色，显示出实际应用的潜力。

Aug, 2023

这篇论文介绍了 GODEL（Grounded Open Dialogue Language Model），它是一种大型预训练语言模型，用于对话。与以前的模型相比，GODEL 利用了一种新的基于 Grounded 的预训练方法，以更好地支持适应广泛的下游对话任务。实验表明，GODEL 在少样本 Fine-tuning 方式下表现优异，具备更好的实用性和信息传达特征。

Jun, 2022

本研究分析了 ChatGPT 在不同对话问答语料库中生成的回答，并使用 BERT 相似度得分进行比较，以获取自然语言推理（NLI）标签。该研究还确定了 ChatGPT 提供错误答案的情况，提供了有关该模型可能存在错误的领域的见解。通过评估分数，比较 GPT-3 和 GPT-4 的整体性能。

Apr, 2023