使用检索机制动态自动选择基于跨模态相似性的示例，以提升多模态推理中大型语言模型的性能。对各类示例进行分组并分别从不同组中检索示例，以增加示例的多样性。通过一系列实验，我们证明了我们的方法在多模态推理任务中取得了显著的性能改进。

Dec, 2023

本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

Dec, 2022

提出了 IRCoT 方法，在多步 QA 过程中使用检索和 CoT 交替进行，同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上，使用 IRCoT 方法取得了显著的检索和 QA 性能改进，即便是在小型模型 T5-Flan-large（0.7B）上也能奏效。

Dec, 2022

通过在知识图谱（KG）上选择推理路径并结合思维链（CoT）和 PageRank 的子图检索方法，本文整合和优化了一个基于大型语言模型（LLM）的管道，可以减少对 LLM 的依赖。最终，RoK 证明了使用较少的 LLM 调用可以达到相同的结果。

Apr, 2024

基于 Large Language Models (LLMs) 的技术，通过自动化查询 - 商品对的相关性判断，改善产品搜索的相关性预测精度，对商品搜索的相关判断自动化领域具有重要影响。

Jun, 2024

LeanContext 是一种从上下文中高效提取与查询密切相关的关键句子的方法，采用强化学习技术动态确定提取的句子数量，其余重要性较低的句子通过开源的文本缩减方法进行缩减。与保留完整上下文的基准方法相比，尽管成本减少了 37.29％至 67.81％，LeanContext 的 ROUGE-1 得分仅下降了 1.41％至 2.65％。此外，如果使用免费预训练的基于大型语言模型的摘要方法来缩减上下文，LeanContext 可以进一步修改缩减后的上下文，提高准确性（ROUGE-1 得分）13.22％至 24.61％。

Sep, 2023

使用学习排序技术结合不同的信息检索系统，解决大型语言模型中幻觉和过时信息的问题，提高检索问题回答任务的性能，并在 SQuAD 数据集上取得了最先进的结果。

Jun, 2024

通过利用生成模型的模式匹配能力，我们提出了 In-context QD 框架，通过将 QD 档案作为上下文，利用预训练的大型语言模型的上下文能力生成有趣的解决方案，在多个领域中展现出有希望的结果，并在 QD 搜索中取得了良好的效果。

Apr, 2024

通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检索和参数高效微调的技术，将 4k 个令牌的 LLaMA2-7B 模型的有效上下文窗口扩展到处理高达 128k 个令牌。在几个长上下文问答数据集上对我们的方法进行评估，结果显示 LLoCO 在推理过程中使用 $30 imes$ 更少的令牌，显著优于上下文学习，实现了高达 $7.62 imes$ 的加速，大大降低了长文档问答的成本，为高效处理长上下文提供了有希望的解决方案。我们的代码公开可用于该 https URL。

Apr, 2024

通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

Nov, 2023