本文提出了 ConvFiT 框架，将经过预训练的语言模型转化为通用会话编码器和专门的句子编码器，能够在理解任务中达到类似语义相似性的结果，并在意图检测中实现了最先进的性能。

Sep, 2021

介绍了一个轻量级的模型 Span-ConveRT，用于对话槽填充，任务被视为基于轮的跨度提取。该模型通过与大型预训练对话模型（如 ConveRT）中编码的对话知识的简单集成，允许在少样本学习场景中取得一致的收益。此外，还发布了由真实餐厅预订对话编制的具有挑战性的新数据集 RESTAURANTS-8K，以激励更多的跨度提取对于槽填充任务的研究。

May, 2020

该研究提出一种利用预训练双句编码器的意图检测方法，证明在少样本学习场景下，该方法比全 BERT-Large 模型的意图检测器表现更加稳定、更具普适性，且能够在短时间内训练并保持超参数稳定性。此外，研究团队还发布了相关代码和单域 13,083 个 annotated 样本的 77 种意图的数据集。

Mar, 2020

本文提出了一种对 BERT 进行自监督 fine-tune 的对比学习框架 ConSERT，通过利用无标签文本解决 BERT 生成句子表示时的崩溃问题，进而提高了 sentence representations 的应用性能，实验结果表明在 STS 任务上优于之前的 SOTA 达 8%，并且在与 1000 份样本的情况下表现稳健。

May, 2021

本文介绍了 ConvAI2 NeurIPS 竞赛的设置和结果，表明预训练 Transformer 变体是当前最佳的聊天机器人模型，但为了提高系统在与人类进行多轮会话的性能，未来的系统必须超越单词单一度量标准（如困惑度）来对话序列进行度量 —— 例如对话行为的重复性、一致性和平衡（例如问答问题的数量）。

Jan, 2019

该研究提出了一种新的生成数据驱动对话系统的方法，称为 TransferTransfo，它是基于传输学习和高容量 Transformer 模型的组合，使用多任务目标进行微调，取得了当前最先进的端到端对话模型如记忆增强 seq2seq 和信息检索模型所不能比拟的强大改进。

Jan, 2019

本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

Nov, 2020

使用 CONVERSER 框架，在最多 6 个领域对话示例的情况下，利用大规模语言模型的上下文学习能力为基于对话的密集重排进行训练，实验结果表明所提出的框架在少样本对话密集重排中取得了可比较的性能。

Sep, 2023

本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

Sep, 2021

本研究使用结构化剪枝方法对卷积模型进行压缩，比 BERT 模型的性能差异不大，模型参数少于 100K，适用于移动设备，并在 CPU 上比 DistilBERT 快 63 倍。

Jun, 2020