RRAML: 强化检索增强机器学习
R-LLMs improve factual question-answering by combining pre-trained large language models with retrieval systems; RaLLe is an open-source framework that facilitates the development, evaluation, and optimization of R-LLMs for knowledge-intensive tasks, enhancing performance and accuracy.
Aug, 2023
本文通过系统调查研究,评估了检索增强型大型语言模型在 5 个不同的生物医学任务(三元组抽取、链接预测、分类、问题回答和自然语言推理)中的影响,并在医学领域建立了四个不同的测试组,测试了三个代表性的大型语言模型与三个不同的检索器在 9 个数据集上的性能。
May, 2024
使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时,检索到的信息能够提高模型的性能,并且不会损害性能。该研究分析了五个开放领域问答基准,并提出了两种方法以减轻性能下降问题。
Oct, 2023
本研究通过关键字检索对多种大型语言模型进行评估,发现这些模型在科学文档推理任务中会使用编造的证据来支持预测,利用科学语料库进行预训练无法减轻证据捏造的风险。
Nov, 2023
该论文提出了一种名为 In-Context RALM 的新方法,将基础语料库中的相关文档作为输入前缀添加到语言模型中,实现对外部信息的整合而无需改变模型结构,并证实其在各种场景下的性能提升,从而增加了语言模型的普适性。
Jan, 2023
本文介绍了通过使用 Retrieval Augmented Generation(RAG)来改善问题求解性能的 ARM-RAG(Auxiliary Rationale Memory for Retrieval Augmented Generation)系统,并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。
Nov, 2023
大型语言模型与检索增强语言模型结合,提供了一个全面的概述,探讨了它们的范式、演化、分类和应用,以及其中关键组件如检索器、语言模型和增强部分,同时讨论了其在多个任务中的效用和评估方法,以及未来研究的方向。
Apr, 2024
提出了一种名为 “Reinforced Retriever-Reorder-Responder”(R^4)的新流程,用于学习检索增强大型语言模型(LLM)的文档排序,从而进一步增强它们的生成能力,同时保持 LLM 的参数不变。
May, 2024
检视了检索增强型大型语言模型(RA-LLMs)的现有研究,涵盖体系结构、训练策略和应用三个主要技术视角,并介绍了此类模型的基础知识和最新进展,以及它们为大型语言模型(LLMs)带来的实际意义和应用领域的挑战和能力,最后讨论了当前的局限性和未来研究的几个有前途的方向。
May, 2024
本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法,借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识,从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。
Dec, 2022