Apr, 2024

检索增强的基于生成的关系抽取

PDF
TL;DR信息抽取是将非结构化文本数据转化为结构化格式的一种变革性过程，本研究提出了一种提高关系抽取任务性能的基于检索增强生成的关系抽取方法，并通过使用不同的大型语言模型对其进行了有效性评估。结果显示，该方法在信息抽取任务中表现出卓越的性能，特别是在 TACRED 数据集及其变体上。此外，与以往的方法相比，该方法在 TACRED 和 TACREV 数据集上的表现也非常出色，凸显了它在自然语言处理的关系抽取任务中的有效性和潜力。
information extractionentity and relation extractionlarge language modelsretrieved-augmented generation-based relation extractionperformance evaluation
发现论文，激发创造
  • 在检索增强生成框架中使用经过微调的大型语言模型进行关系抽取

    Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

    Jun, 2024

  • AutoRE：基于大型语言模型的文档级关系抽取

    通过引入 AutoRE 模型和 RHF (Relation-Head-Facts) 的新型 RE 提取范式，结合 QLoRA (Parameters Efficient Fine Tuning) 算法构建了一个易于扩展的 DocRE 框架，在 RE-DocRED 数据集上展现了最佳性能，超过 dev 和 test 集合上分别为 TAG 10.03% 和 9.03% 的最新结果。

    Mar, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • LLMs 知道他们所需：利用缺失信息导向框架强化检索辅助生成

    通过实验证明语言模型具有提取信息和判断缺失信息的能力，基于此发现，本文提出了一种 Missing Information Guided Retrieve-Extraction-Solving（MIGRES）范式，利用缺失信息的识别生成有针对性的查询来引导后续的知识检索，同时设计了一种基于句子级别的重新排序过滤方法，以过滤掉无关的内容，并结合语言模型的信息提取能力从干净的文档中提取有用信息，从而增强 Retrieval-Augmented Generation（RAG）的整体效力。大量实验证明了所提出的 MIGRES 方法的优越性，并分析实验证明了我们提出的模块的有效性。

    Apr, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 召回、检索与推理：迈向更好的上下文关系抽取

    通过提出一种召回 - 检索 - 推理关系抽取框架，将大型语言模型与检索语料库相结合，从而使语言模型能够在上下文中进行可靠的推理，以提高关系抽取的性能。

    Apr, 2024

  • 揭示双重检索增强生成的理论分析与实践解决方案

    使用检索增强生成（RAG）的方法将检索到的文本用于增强大型语言模型（LLM）。然而，研究显示 RAG 并不一致有效，甚至可能因检索到的文本含有噪声或错误而误导 LLM，这表明 RAG 具有双重性，既有益又有害。本研究分离和形式化 RAG 的益处和害处，通过表征相似度来近似它们之间的差距，并建立它们之间的权衡机制，使其可解释、可量化和可比较。根据我们的理论，提出了一种实用的新方法 X-RAG，在标记级别上实现纯 LLM 和 RAG 的协同生成，以保留好处和避免害处。基于 OPT、LLaMA-2 和 Mistral 的 LLMs 的实验表明了我们方法的有效性并支持了我们的理论结果。

    Jun, 2024

  • RQ-RAG: 学习改进用于检索增强生成的查询

    学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

    Mar, 2024

  • 大规模语言模型的无监督信息精炼训练用于检索增强生成

    提出了一种名为 InFO-RAG 的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于 LLaMA2 平均提升 9.39% 的性能，并展现了在上下文学习和鲁棒性方面的优势。

    Feb, 2024