面向对话AI的预训练语言模型简要调查——NLP的新时代
本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
Jul, 2019
该文章介绍了近期在自然语言处理中提高模型性能所用的三种方法：更加复杂的语言模型、更大的语料库和并行计算，总结了一些最近两年新增的大型预训练语言模型，并探讨了新架构与资源所带来的影响，以此为起点提供了一些方便可复制的研究结果。
Jan, 2020
本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明TOD-BERT在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型BERT，并且具有更强的少量数据学习能力。
Apr, 2020
本文提出一种专门为特定任务对话系统设计的预训练模型PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明PRAL在三种不同任务中表现优异，超越或与最先进的方法持平。
Apr, 2020
本文提出了一种新的对话表示和高效的方法，可以在Wizard-of-Oz (WOZ)对话中预测精确的对话状态，使用ThingTalk表示法表示了所有代理需要回应的信息，并在MultiWOZ 3.0上验证了该方法，获得了79%的精确匹配准确度。
Sep, 2020
通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。
Nov, 2020
本文介绍了使用预训练和微调、提示或文本生成方法解决NLP任务的大型预训练基于transformer的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。
Nov, 2021
本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型BERT、GPT和序列到序列变换，并讨论了改进这些模型的不同方法，以及20个应用领域中表现最佳的模型。
Feb, 2023
为了与人类用户进行对话，需要设计能够进行人机交互的机器智能，因此会话建模是自然语言处理中的重要任务。一个新的机器会话模型使用了逐渐构建的句子结构和复杂度的培训方法来模拟人类学习的构建过程，其通过按照先“短”后“长”的句子对训练，最终比标准文本准备训练的模型具有更低的验证误差。
May, 2023
本文提出了一种基于FutureTOD模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。
Jun, 2023