Mar, 2024
利用大型语言模型的多角色能力进行面向开放领域的问答
Harnessing Multi-Role Capabilities of Large Language Models for
Open-Domain Question Answering
TL;DR开放领域问答（ODQA）作为信息系统中的关键研究领域已经崛起。现有方法采用两种主要范式来收集证据：（1）“先检索然后阅读”范式从外部语料库中检索相关文档；（2）“先生成然后阅读”范式使用大型语言模型（LLMs）生成相关文档。然而，两者都无法完全满足证据的多方面需求。因此，本文提出了LLMQA，一种通用框架，将ODQA过程分为三个基本步骤：查询扩展、文档选择和答案生成，结合了基于检索和基于生成的证据的优势。由于LLMs展示了在各种任务中表现出的出色能力，我们在框架中指导LLMs担任多个角色，作为生成器、重新排序器和评估器，集成它们在ODQA过程中的协作。此外，我们引入了一种新颖的提示优化算法，以改进角色扮演提示，引导LLMs生成更高质量的证据和答案。在广泛使用的基准测试（NQ、WebQ和TriviaQA）上进行的大量实验结果表明，LLMQA在答案准确性和证据质量方面达到了最佳表现，展示了其推进ODQA研究和应用的潜力。