对最近的状态转化器自然语言生成对话模型进行实证研究，探讨了其在瑞典语言方面的迁移学习潜力，结果表明通过相应 fine-tuned，该模型具备可观的成功移植能力，并提供了英文与瑞典语聊天机器人的演示和模型检查点以供公众使用。

Oct, 2021

本文介绍基于 transformer 模型的 DLGNet，用于多轮对话生成，实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳，主要因为长程 transformer 模型的结构和注入随机信息填充的组合。

Jul, 2019

本文介绍如何利用 DialoGPT 提供未标注的语料，作为无监督对话注释器，来对两个对话概括数据集 SAMSum 和 AMI 进行标注，使用 DialoGPT 进行标注取得了很显著的成果，并在 SAMSum 数据集上取得了新的最先进水平。

May, 2021

本文提出了一种新的对话代理模型 ——Generative Conversation Control，它能够控制对话代理的个性，并通过控制该模型上一次与目标演员的对话，实现对话代理个性的表达，该模型在 Reddit 评论数据上进行了验证和评估，其效果得到了显著提高。

May, 2020

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

Oct, 2022

本研究使用 ChatGPT 这一语言模型探讨了如何利用其在软件工程中辅助完成常见任务，研究结果显示 ChatGPT 对许多任务均有不错的表现，但仍存在一些任务不适用。

May, 2023

本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务（如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答）中的表现及其个性化响应能力，并与现有的国际先进水平（SOTA）解决方案进行了比较。结果表明，任务难度越高（低 SOTA 表现），ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见，在一定程度上限制了 ChatGPT 的有效性。

Feb, 2023

这篇论文介绍了 GODEL（Grounded Open Dialogue Language Model），它是一种大型预训练语言模型，用于对话。与以前的模型相比，GODEL 利用了一种新的基于 Grounded 的预训练方法，以更好地支持适应广泛的下游对话任务。实验表明，GODEL 在少样本 Fine-tuning 方式下表现优异，具备更好的实用性和信息传达特征。

Jun, 2022

这篇论文评估了 ChatGPT（GPT-3.5、GPT-4）对数字取证领域的影响和潜在影响，重点关注最新的预训练 LLM GPT-4，通过一系列实验评估了它在包括文物理解、证据搜索、代码生成、异常检测、事件响应和教育等多个数字取证应用场景中的能力，并总结了它的优势和风险。综合而言，尽管 ChatGPT 在数字取证领域存在一些潜在的低风险应用，但很多应用目前不适用，因为需要将证据上传至服务端，或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。然而，对于合适的知识用户而言，在某些情况下，它可以作为一个有用的辅助工具。

Jul, 2023