本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

Mar, 2020

该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

Jul, 2021

本文提出了一种将检索式和生成式对话系统相结合的方法，将检索到的候选回答与原始查询一起馈送到基于循环神经网络的回答生成器中，以使神经模型了解更多信息。 实验结果表明，这种集成方法明显优于单独使用检索和生成方法。

Oct, 2016

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

使用新颖的带有合成查询的嘈杂自我训练框架，证明了神经检索器可以在没有依赖任何外部模型的情况下以自我进化的方式得到改进，实验证明我们的方法在常见领域（如 MS-MARCO）和领域外（即 BEIR）的检索基准上持续改进。进一步扩展该框架来进行 reranker 训练表明所提出的方法是通用的，在各个领域的任务上都能产生额外的收益。

Nov, 2023

提出了一种结合检索和生成方法的方法，使用关注模块检索有信息量和相关性的用户生成数据评论，然后与文章一起作为输入，使用具有复制机制的序列到序列模型。在大规模评论生成数据集上展示了该模型的稳健性并证明了其在 BLEU-1 得分方面比具有注意力机制的 Seq2Seq 和信息检索模型等强基线模型显着优越约 27 和 30 个 BLEU-1 点。

Oct, 2018

本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。

Mar, 2016

本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。

May, 2021

我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

Feb, 2024

研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

Apr, 2023