本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

Jun, 2020

我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

Oct, 2020

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

本文提出了 SpeechGPT，一个具有内在跨模式对话能力的大型语言模型，可以感知和生成多模式内容，并演示了语音 + 文本的多模态交互示例。

May, 2023

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

为了解决注意力语言模型在任务导向对话中的缺陷，这篇论文引入了修改过的训练目标和巨量数据增强技术，研究数据来源的多重组合方式，并通过人工和自动评估证明了方法的高效性，取得了与最先进技术的竞争性表现。

Feb, 2021

本文提出了一种简单的多源神经机器翻译解决方案 —— 通过预处理 N 路多语种语料库，将源语言句子连接成一个长的多源输入句子，不修改神经机器翻译（NMT）架构或训练过程，使用预处理的语料库训练 NMT 系统，实验结果表明该方法在资源匮乏和资源丰富情况下均有效（使用 2 种源语言可达到 4 BLEU，使用 5 种源语言可达到 6 BLEU），同时与现有的 MSNMT 方法进行比较，表明我们的方法尽管简单却具有竞争力的结果。我们还通过可视化关注力提供了一些多语言信息的见解。

Feb, 2017

提出了一种新颖的多源技术，利用线性化的解析将源语法合并到神经机器翻译中，通过使用单独的编码器将相同源语句的顺序和解析版本相结合，然后使用分层注意机制将结果表示组合，该模型在 WMT17 英德任务上比 seq2seq 和基线解析模型都有超过 1 BLEU 的改进，并且分析表明，与标准解析方法相比，我们的多源语法模型能够成功进行翻译而不需要任何已解析的输入，在长句子上的表现也不如基线模型差。

Aug, 2018

该研究介绍了一种半结构化提示方法，有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识，并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术，甚至超过了需要微调的方法。

Nov, 2023

该研究通过 Fusion-in-Decoder 技术，采用多个通道对话历史和主题信息进行编码，实现了对长文本的多方面信息的利用，通过实验发现整篇文章通道加上历史通道的方法在 NaturalConv 数据集上的表现比较竞争性。

Sep, 2022