UniGen 是一个综合的 LLM 框架，利用创新机制解决现有生成框架中的泛化、可控性、多样性和准确性等挑战，通过引入属性导向的生成模块和检查功能，以及基于代码的数学评估和检索增强生成技术，产生多样、准确和高度可控的数据，并支持用户指定的约束条件，满足特定需求。相比其他生成方法，UniGen 生成的数据质量更高，适用于动态演变的基准测试和数据增强，提升了 LLM 在代理能力和推理技能等领域的能力。

Jun, 2024

通过结合文档检索技术与大型语言模型 (LLM)，我们提出了一种名为 Generator-Retriever-Generator (GRG) 的新方法，通过首先命令模型根据给定的问题生成上下文文档，然后使用双编码器网络从外部语料库中检索与问题相关的文档。将生成的和检索的文档传递给第二个 LLM 模型，生成最终的答案。通过结合文档检索和 LLM 生成，我们的方法解决了开放域问答的挑战，如生成信息丰富且上下文相关的答案。GRG 在 TriviaQA、NQ 和 WebQ 数据集上表现优于最先进的生成 - 阅读和检索 - 阅读流水线 (GENREAD 和 RFiD)，性能至少提高了 + 5.2、+4.2 和 + 1.6。我们提供代码、数据集和检查点。

Jul, 2023

本文提出了一种基于文档的对话方法，通过生成理解文本的知识与回答用户提问，逐步消除错误传播问题，并采用温度调度方法减少文档信息的负面影响，实验结果证明了多任务学习策略的有效性。

Apr, 2022

本文提出了一种统一的生成式对话理解框架 UniDU，将所有 DU 任务都重新定义成统一的基于提示的生成模型。并引入了一种新颖的模型非特定多任务训练策略 (MATS) 来在训练期间动态地适应各种任务的权重以实现最佳的知识共享。实验表明，UniDU 框架在所有任务上均比特定任务的良好设计方法表现更优，并揭示了这些任务的知识共享结构。最后，UniDU 在未知对话领域获得了良好的性能，显示出广泛应用的巨大潜力。

Apr, 2022

知识对话系统与互联网检索近年来吸引了研究人员的广泛关注。通过使用统一的模型实现检索决策、查询生成和回复生成的三个任务，我们的工作不仅解决了使用外部知识的必要性问题，还节约了多模型部署的复杂性和成本。在 Wizint 和 Dusinc 数据集上的实验证明了我们的统一模型在各个任务上的卓越性能，以及与针对每个任务单独部署的 SOTA 系统相比具有可比性的结果。

Jan, 2024

提出了一种名为 Unified-QG 的模型，它基于终身学习技术，可以跨不同数据集和格式不断地学习 QG 任务，并用 STRIDER 方法来减轻连续 QG 学习中的灾难性遗忘，实验证明 Unified-QG 可以有效地适应 QG 任务，提高 QA 系统性能。

Jan, 2022

通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

May, 2021

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

Sep, 2017

该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

Feb, 2024