Jun, 2024

通过灵感哲学中的相关性迭代实用判断框架

PDF
TL;DR当我们将实用性判断纳入 “检索增强生成（RAG）” 中时，我们认识到话题相关性、实用性和回答在 RAG 中与 Schutz 从哲学角度讨论的三种相关性（话题相关性、解释相关性和动机相关性）密切相关。受到这三种相关性的动态迭代的启发，我们提出了一个迭代实用性判断框架（ITEM），以促进 RAG 的每个步骤。我们在多级段落检索和事实性问题回答数据集（即 TREC DL、WebAP 和 NQ）上进行了大量实验。实验结果表明，在实用性判断、话题相关性排序和回答生成方面，相对于多个单次实用性判断方法作为基线，我们的方法取得显著改进。
utilitytopical relevanceretrieval-augmented generationrelevanceanswer generation
发现论文，激发创造
  • 产品搜索的相关判断大型语言模型

    基于 Large Language Models (LLMs) 的技术，通过自动化查询 - 商品对的相关性判断，改善产品搜索的相关性预测精度，对商品搜索的相关判断自动化领域具有重要影响。

    Jun, 2024

  • 在法律案例检索中利用大型语言模型进行相关判断

    利用大型语言模型进行相关判决的准确性研究，提出了一种适用于法律案例相关判决的新型工作流程，并通过与人工专家判断的比较，证明了该工作流程可以获得可靠的相关判决，并通过大型语言模型生成的数据综合增强现有的法律案例检索模型的能力。

    Mar, 2024

  • 基于 LLM 的问答系统中检索组件的评估

    评估大规模语言模型在问答系统中的检索组件性能的基线方法。

    Jun, 2024

  • 评估检索增强生成模型的答案质量：强大的 LLM 足够了

    我们提出了一种全面评估检索增强生成（RAG）应用中答案质量的方法，使用 vRAG-Eval，这是一种新的评分系统，旨在评估正确性、完整性和诚实性。我们进一步将前述质量方面的评分转化为一个二进制分数，表示接受或拒绝的决策，反映了常用于聊天应用的直观 “赞” 或 “踩” 的手势。我们将 vRAG-Eval 应用于两个大型语言模型（LLM），评估由基本 RAG 应用生成的答案的质量。我们将这些评估与人类专家判断进行比较，并发现 GPT-4 的评估结果与人类专家的评判具有显著一致性，在接受或拒绝的决策上达成 83% 的一致。这项研究突出了 LLM 在封闭领域、封闭式问题设置中作为可靠评估者的潜力，特别是当人工评估需要大量资源时。

    Jun, 2024

  • 使用任务特定的考试生成自动评估检索增强的语言模型

    我们提出了一种新的方法来衡量检索增强的大型语言模型（RAG）的任务特定准确性。通过对与任务相关的文档语料库基于多项选择问题评分的自动生成合成考试来进行评估。我们的方法是自动化、成本高效、可解释和稳健的选择 RAG 系统的最佳组件的策略。我们利用项目反应理论（IRT）估计考试的质量和信息量，以提高任务特定准确性。我们在四个基于 Arxiv 摘要、StackExchange 问题、AWS DevOps 故障排除指南和 SEC 文件的新型开放问答任务上演示了我们的方法。此外，我们的实验揭示了影响 RAG 性能的更一般的因素，如大小、检索机制、提示和微调。最重要的是，我们的研究结果表明，选择正确的检索算法通常比仅仅使用更大的语言模型能够带来更大的性能收益。

    May, 2024

  • 噪声的力量：为 RAG 系统重新定义检索

    通过详细和批判性地分析信息检索组件对检索辅助生成系统的影响，本研究揭示了特定类型的文档对于有效的检索辅助生成提示公式所需的特征，发现包括不相关的文档能出乎意料地提高准确性超过 30％。这些结果强调了需要开发专门策略来将检索与语言生成模型相结合，为未来研究奠定了基础。

    Jan, 2024

  • LLMs 知道他们所需：利用缺失信息导向框架强化检索辅助生成

    通过实验证明语言模型具有提取信息和判断缺失信息的能力，基于此发现，本文提出了一种 Missing Information Guided Retrieve-Extraction-Solving（MIGRES）范式，利用缺失信息的识别生成有针对性的查询来引导后续的知识检索，同时设计了一种基于句子级别的重新排序过滤方法，以过滤掉无关的内容，并结合语言模型的信息提取能力从干净的文档中提取有用信息，从而增强 Retrieval-Augmented Generation（RAG）的整体效力。大量实验证明了所提出的 MIGRES 方法的优越性，并分析实验证明了我们提出的模块的有效性。

    Apr, 2024

  • 使用大型语言模型生成的相关判定预测查询性能

    使用自动生成的相关判断将查询性能预测 (QPP) 分解为独立的子任务，通过判断排名列表中每个项目与给定查询的相关性来预测信息检索评估度量，并利用领先的开源大型语言模型 LLaMA 来提高 QPP 质量。

    Apr, 2024

  • 明确前往方向：使 LLM 成为一个相关、负责任和可信赖的搜索引擎

    利用大型语言模型（LLM）的知识构建了一个新的生成检索框架，以提高相关性和直接回答搜索问题的能力，验证生成结果的可靠性和贡献来源的可信度，实现了在 LLM 时代的 “PageRank”。该框架包括生成器、验证器和优化器三个核心模块，分别关注生成可信任的在线来源、验证来源可靠性以及优化不可靠的来源。通过广泛的实验和评估，证明了我们方法在相关性、负责性和可信性上对多种最先进方法的优越性。

    Oct, 2023

  • 何时检索：教导 LLMs 有效利用信息检索

    本文介绍了如何使用大型语言模型（LLMs）有效地学习使用现成的信息检索系统来回答问题时所需的附加上下文。通过在 PopQA 数据集上进行评估，我们展示了 Adapt-LLM 在使用所有问题的信息检索、仅使用 LLM 的参数存储器以及使用人气阈值来决定何时使用检索程序三种配置下，相比相同 LLM 的改进。通过我们的分析，我们证明了当 Adapt-LLM 确定无法回答问题时，它能生成 <RET> 标记，表明需要进行信息检索，同时当只依赖参数存储器时，其达到明显高的准确率水平。

    Apr, 2024