大语言模型的自我知识引导检索增强
本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法,借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识,从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。
Dec, 2022
本研究评估了大语言模型的自我认知能力,通过引入自主问答数据集和一种自动化方法来检测不能回答的问题,研究发现大语言模型具有一定的自我认知能力,可以通过上下文学习和指导调整进一步提高其自我认知。但是,研究还发现,这些模型与人类在识别知识限制方面存在明显差距。
May, 2023
大规模语言模型 (LLMs) 在解决知识密集型任务方面展示出了令人印象深刻的能力。本研究通过分析 LLMs 的事实知识边界以及检索增强对其开放领域问题回答能力的影响,揭示了 LLMs 在自信度、准确度和判断能力方面的特征。研究发现检索增强是提升 LLMs 对知识边界感知的有效方法,并且 LLMs 在生成答案时倾向于依赖检索结果,但结果质量对其依赖程度有显著影响。
Jul, 2023
通过将大型语言模型与知识库相结合,KnowledGPT能够更好地回答涉及世界知识的更广泛问题,利用广为人知的知识库和个性化知识库中的知识。
Aug, 2023
本文提出了自助检索(Self-Retrieval)的一种端到端、以大型语言模型为驱动的信息检索架构,能够充分内化信息检索系统所需的能力到一个单一的大型语言模型,深度利用语言模型在信息检索过程中的能力。实验结果表明,自助检索不仅在很大程度上优于以前的检索方法,还能显著提升以大型语言模型为驱动的下游应用,例如检索增强生成。
Feb, 2024
我们提出了一种迭代检索增强自我反馈 (RA-ISF) 框架,该框架将任务迭代分解并在三个子模块中处理,以增强模型的解决问题的能力。实验证明,我们的方法优于现有的基准,在像 GPT3.5、Llama2 这样的模型上表现良好,显著增强事实推理能力并减少虚幻现象。
Mar, 2024
本文介绍了一种名为ChatLR的新型检索增强框架,主要利用大型语言模型(LLMs)的强大语义理解能力作为检索器,以实现精确和简洁的信息检索。通过在金融领域微调LLM并构建基于LLM的搜索和问答系统,实验证明ChatLR在解决用户查询中表现出高达98.8%的信息检索准确性。
May, 2024
该研究提出了一种名为PG-RAG的预检索框架,使用大量阅读材料和结构化的语境记录来构建伪图数据库,该框架在单文档和多文档的问题回答任务中表现出明显的改进,具有高性能的检索和生成能力。
May, 2024
本研究针对大型语言模型(LLMs)在生成内容时存在的局限性和潜在错误,提出了IEKR框架。该框架通过利用LLMs内部知识来改善外部知识的检索,并通过外部知识来修正内部知识中的错误,从而在知识密集型问答任务中取得了新的最先进成果。
Aug, 2024