Nov, 2023

LLatrieval: LLM - 验证的检索用于可验证的生成

PDF
TL;DR本研究提出了 LLatrieval（Large Language Model Verified Retrieval），在此模型中，大型语言模型通过更新检索结果来验证检索到的文档是否能够支持回答问题，从而使语言模型能够通过迭代地向检索提供反馈，以确保检索结果能够充分支持可验证的生成。实验结果表明，我们的方法明显优于广泛的基准，并取得了最新的研究成果。
verifiable generationlarge language modelretrieval-read pipelineretrieversllatrieval
发现论文，激发创造
  • 明确前往方向：使 LLM 成为一个相关、负责任和可信赖的搜索引擎

    利用大型语言模型（LLM）的知识构建了一个新的生成检索框架，以提高相关性和直接回答搜索问题的能力，验证生成结果的可靠性和贡献来源的可信度，实现了在 LLM 时代的 “PageRank”。该框架包括生成器、验证器和优化器三个核心模块，分别关注生成可信任的在线来源、验证来源可靠性以及优化不可靠的来源。通过广泛的实验和评估，证明了我们方法在相关性、负责性和可信性上对多种最先进方法的优越性。

    Oct, 2023

  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 朝着可验证的文本生成：演进记忆与自我反思

    该论文介绍了一种创新的可验证文本生成方法，利用演化记忆和自我反思进行文本生成。该方法通过保持演化的长短期记忆来保存有价值和最新的文档，利用主动检索和多样化查询生成来增强检索文档的精度和范围，并通过两层的验证器和证据查找器来反思和思考论点与引用之间的关系。在五个数据集上进行了广泛实验，结果表明该方法明显优于现有基准。

    Dec, 2023

  • 基于 LLM 的问答系统中检索组件的评估

    评估大规模语言模型在问答系统中的检索组件性能的基线方法。

    Jun, 2024

  • 可靠、适应性强、可归因的检索式语言模型

    通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

    Mar, 2024

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 评估检索增强生成模型的答案质量：强大的 LLM 足够了

    我们提出了一种全面评估检索增强生成（RAG）应用中答案质量的方法，使用 vRAG-Eval，这是一种新的评分系统，旨在评估正确性、完整性和诚实性。我们进一步将前述质量方面的评分转化为一个二进制分数，表示接受或拒绝的决策，反映了常用于聊天应用的直观 “赞” 或 “踩” 的手势。我们将 vRAG-Eval 应用于两个大型语言模型（LLM），评估由基本 RAG 应用生成的答案的质量。我们将这些评估与人类专家判断进行比较，并发现 GPT-4 的评估结果与人类专家的评判具有显著一致性，在接受或拒绝的决策上达成 83% 的一致。这项研究突出了 LLM 在封闭领域、封闭式问题设置中作为可靠评估者的潜力，特别是当人工评估需要大量资源时。

    Jun, 2024

  • 个性化大型语言模型的优化方法：通过检索增强

    本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。

    Apr, 2024

  • 使用迭代检索生成协同技术增强检索增强型大型语言模型

    本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

    May, 2023

  • 引航知识海洋：利用 LLM 进行星球级答案检索

    信息检索技术是一个不断发展的领域，这篇论文综述了信息检索技术的演变，重点讨论大型语言模型在传统搜索方法与新兴答案检索范式之间的桥梁作用。借助 GPT-4 等大型语言模型的整合，响应检索和索引领域正在发生范式转变，从而使用户能够更直接地与信息系统进行互动并获得语境相关的回答。通过这一探索，我们希望揭示塑造这一发展历程的技术里程碑及未来可能的方向。

    Feb, 2024