小型模型,大洞见:利用精简代理模型决定何时和何物为大型语言模型检索
通过与用户与搜索引擎的交互历史相关的上下文,我们提出了一种新颖且通用的方法,用于个性化输出,这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法,生成了在上下文中更相关、个性化和有用的查询建议。
Nov, 2023
利用大型语言模型(LLM)的知识构建了一个新的生成检索框架,以提高相关性和直接回答搜索问题的能力,验证生成结果的可靠性和贡献来源的可信度,实现了在 LLM 时代的 “PageRank”。该框架包括生成器、验证器和优化器三个核心模块,分别关注生成可信任的在线来源、验证来源可靠性以及优化不可靠的来源。通过广泛的实验和评估,证明了我们方法在相关性、负责性和可信性上对多种最先进方法的优越性。
Oct, 2023
大型语言模型可用于定量信息检索,以帮助数据分析任务,如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架,将大型语言模型视为科学文献的潜在空间界面,并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。
Feb, 2024
基于检索增强的大型语言模型在各种 NLP 任务中取得了显着的成功。然而,检索过程提供的知识并不总是有助于提高模型的预测能力。为了节省检索成本,先前的工作通过分析语言模型的预训练数据来决定何时执行 / 跳过检索。然而,这些面向数据的方法存在隐私风险和内存限制问题。本文提出基于标记嵌入的模型感知方法,以更安全直接的方式判断是否需要执行检索,同时避免访问预训练数据所带来的隐私风险,并简化了模型预训练过程中数据的保存要求。大量实验证明了我们的模型感知方法的优越性。
Apr, 2024
信息检索技术是一个不断发展的领域,这篇论文综述了信息检索技术的演变,重点讨论大型语言模型在传统搜索方法与新兴答案检索范式之间的桥梁作用。借助 GPT-4 等大型语言模型的整合,响应检索和索引领域正在发生范式转变,从而使用户能够更直接地与信息系统进行互动并获得语境相关的回答。通过这一探索,我们希望揭示塑造这一发展历程的技术里程碑及未来可能的方向。
Feb, 2024
本文介绍了如何使用大型语言模型(LLMs)有效地学习使用现成的信息检索系统来回答问题时所需的附加上下文。通过在 PopQA 数据集上进行评估,我们展示了 Adapt-LLM 在使用所有问题的信息检索、仅使用 LLM 的参数存储器以及使用人气阈值来决定何时使用检索程序三种配置下,相比相同 LLM 的改进。通过我们的分析,我们证明了当 Adapt-LLM 确定无法回答问题时,它能生成 <RET> 标记,表明需要进行信息检索,同时当只依赖参数存储器时,其达到明显高的准确率水平。
Apr, 2024
本文提出了一种名为知识解决器(KSL)的范例,通过利用大型语言模型(LLMs)的强大概括能力,教给它们从外部知识库中搜索必要知识,并将检索过程转化为多跳决策序列,增强了 LLMs 的搜索能力,提高了推理过程的可解释性。在三个数据集上的实验证实,我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
将大型语言模型与搜索引擎服务相结合,为服务计算领域带来重大变革,本文深入研究了如何整合大型语言模型和搜索引擎以互惠互利。重点关注两个主要方面:使用搜索引擎改进大型语言模型 (Search4LLM) 和使用大型语言模型增强搜索引擎功能 (LLM4Search)。
Jun, 2024
通过提示工程,大型语言模型(LLMs)展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而,在自然语言理解和问题回答方面,提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。
Dec, 2023