通过利用匿名化的在线辅导对话数据集并利用 ConvMFiT，定义有意义的类别以分类客户话语，该模型优于现有模型的性能，并确认模型与期望的语言模式相关的注意权重。

Mar, 2019

提出了一种名为 ConveRT 的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。

Nov, 2019

本研究提出了 Multi-lingual language model Fine-Tuning (MultiFiT) 方法，使得从未标注的数据中有效地训练和优化预训练语言模型，特别对于低资源性语言，实现了零样本跨语言模型，并在两个跨语言分类数据集中优于那些使用更多数据和计算的预训练模型。

Sep, 2019

提出了一种名为 SetFit 的有效、无提示和快速的模型，用于在小规模数据上对 Sentence Transformers 进行 few-shot fine-tuning，通过对预训练模型进行对比式 Siamese 微调，再使用其生成的文本嵌入来训练分类头部，从而获得与传统技术相当的结果，并且解决了手工制作提示和语言模型规模过大的问题。

Sep, 2022

本文提出了通用语言模型微调（ULMFiT）方法，通过预训练模型来减小 NLP 中针对特定任务和重新训练的限制，可应用于 NLP 中的任何任务，结果显示该方法在 6 个文本分类任务中的表现显著优于现有技术，且只需 100 个标记实例即可达到基于 100 倍数据重新训练的性能，同时本文公开了预训练模型和代码。

Jan, 2018

本研究通过语言接口微调（LIFT）来解决非语言下游任务，而不更改模型架构或损失函数，并进行了全面的实证研究，发现在低维分类和回归任务上，LIFT 的表现与最佳基线相当，并具有归纳偏置，鲁棒性和样本复杂性。

Jun, 2022

该研究通过 Fusion-in-Decoder 技术，采用多个通道对话历史和主题信息进行编码，实现了对长文本的多方面信息的利用，通过实验发现整篇文章通道加上历史通道的方法在 NaturalConv 数据集上的表现比较竞争性。

Sep, 2022

该研究提出了一种新的生成数据驱动对话系统的方法，称为 TransferTransfo，它是基于传输学习和高容量 Transformer 模型的组合，使用多任务目标进行微调，取得了当前最先进的端到端对话模型如记忆增强 seq2seq 和信息检索模型所不能比拟的强大改进。

Jan, 2019

通过关键词隐私、安全、深度神经语言模型、加密和性能，本文提出了一种新颖的方法来改进和优化基于 Transformer 的语言模型，在密钥加密的用户特定文本上进行自适应和微调，以实现在保护性能、隐私和安全性的同时进行推理和训练。

Dec, 2023

利用大型语言模型（LLM）的少样本学习能力和生成能力，我们提出了 AutoConv 用于合成对话生成，将对话生成问题形式化为语言建模任务，然后使用少量人类对话经过微调训练 LLM 以捕捉信息获取过程的特征，并使用它生成高质量的合成对话，验证实验表明 AutoConv 大大改进了目前基线模型的性能，并减少了对人类注释的依赖，此外，我们还提供了多项分析研究以促进未来的研究。

Aug, 2023