检索增强机器学习
通过提出一种名为增强检索增强机器学习(RRAML)的新型框架,将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合,有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。
Jul, 2023
通过在推理过程中引入大规模数据存储,检索增强的语言模型(retrieval-augmented LMs)可以更可靠、适应性更强且更具可追溯性,然而目前在超越知识密集型任务(如问答)以外的领域,检索增强的语言模型尚未被广泛采用,这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。
Mar, 2024
本文提出了自助检索 (Self-Retrieval) 的一种端到端、以大型语言模型为驱动的信息检索架构,能够充分内化信息检索系统所需的能力到一个单一的大型语言模型,深度利用语言模型在信息检索过程中的能力。实验结果表明,自助检索不仅在很大程度上优于以前的检索方法,还能显著提升以大型语言模型为驱动的下游应用,例如检索增强生成。
Feb, 2024
信息检索领域,自传统搜索开始已经发展得非常成熟,并且扩展到满足用户不同的信息需求。最近,大型语言模型在文本理解、生成和知识推理方面表现出了异常的能力,为信息检索研究打开了令人兴奋的新方向。大型语言模型不仅有助于生成式检索,还为用户理解、模型评估和用户系统交互提供了改进的解决方案。最重要的是,信息检索模型、大型语言模型和人类之间的相互作用形成了一个更强大的信息搜索技术范式。信息检索模型提供实时和相关的信息,大型语言模型提供内部知识,而人类在信息服务的可靠性方面起到了需求者和评估者的核心角色。然而,仍然存在一些重大挑战,包括计算成本、可信度问题、特定领域限制和伦理考虑。为了深入讨论大型语言模型对信息检索研究的变革性影响,中国信息检索界于 2023 年 4 月举办了一次战略研讨会,得出了有价值的见解。本文总结了研讨会的成果,包括对信息检索核心价值的重新思考、大型语言模型和信息检索的相互增强、一个新的信息检索技术范式的提出以及面临的挑战。
Jul, 2023
Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.
Jun, 2024
通过检索增强型医学预测模型(REMed)在电子健康记录上构建临床预测模型,无需手动特征选择和受限观测窗口,验证实验显示 REMed 优于其他架构,能加速电子健康记录预测模型的开发过程。
Oct, 2023
本文介绍了如何使用大型语言模型(LLMs)有效地学习使用现成的信息检索系统来回答问题时所需的附加上下文。通过在 PopQA 数据集上进行评估,我们展示了 Adapt-LLM 在使用所有问题的信息检索、仅使用 LLM 的参数存储器以及使用人气阈值来决定何时使用检索程序三种配置下,相比相同 LLM 的改进。通过我们的分析,我们证明了当 Adapt-LLM 确定无法回答问题时,它能生成 <RET> 标记,表明需要进行信息检索,同时当只依赖参数存储器时,其达到明显高的准确率水平。
Apr, 2024
本文介绍了一种名为 ChatLR 的新型检索增强框架,主要利用大型语言模型(LLMs)的强大语义理解能力作为检索器,以实现精确和简洁的信息检索。通过在金融领域微调 LLM 并构建基于 LLM 的搜索和问答系统,实验证明 ChatLR 在解决用户查询中表现出高达 98.8%的信息检索准确性。
May, 2024