May, 2024

ERATTA：基于大型语言模型的表格问答极端阅读简化

PDF
TL;DR我们提出了一种基于大型语言模型的系统，可以通过多个大型语言模型从各种规模大的企业级数据产品中提取信息，并在 10 秒内提供实时响应，同时提出了一个得分模块来检测和报告大型语言模型响应中的幻觉。在可持续发展、财务健康和社交媒体领域的数百个用户查询中，我们的系统和评分指标实现了超过 90% 的置信分数。
large language modelsresidual augmented-generationscalable generative aillm-based systemdata authentication
发现论文，激发创造
  • T-RAG: LLM 战壕中的教训

    构建一个基于 RAG 的 LLM 应用程序，Tree-RAG 使用树结构表示组织中的实体层级，并生成文字描述以增强响应用户查询的上下文。

    Feb, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • M-RAG: 通过多个分区的检索增强生成加强大型语言模型性能

    通过引入多个分区范例（称为 M-RAG），每个数据库分区作为 RAG 执行的基本单位，本文在 Retrieval-Augmented Generation（RAG）的基础上提出了一个新的框架，利用多智能体强化学习优化不同的语言生成任务。通过在七个数据集上进行的综合实验，涵盖三个语言生成任务和三种不同的语言模型架构，我们证实了 M-RAG 相对于各种基准方法的持续优势，分别在文本摘要、机器翻译和对话生成方面取得了 11％、8％和 12％的改进。

    May, 2024

  • 一个令牌可以帮助！学习可扩展和可插拔的虚拟令牌用于增强检索的大型语言模型

    通过学习可扩展且可插拔的虚拟标记，我们的方法在保持大型语言模型的原始参数的基础上，仅对这些可插入标记的嵌入进行微调，从而提高了大型语言模型的性能并保留了其普遍的生成能力。

    May, 2024

  • DomainRAG: 用于评估领域特定的检索增强生成的中文基准

    检验 Retrieval-Augmented Generation （RAG）在特定领域环境中的能力与效果，评估存在的限制并寻求改进的研究。

    Jun, 2024

  • 基于 RAG 的家庭电力监测会话

    通过结合 Retrieval Augmented Generation (RAG) 与 ChatGPT、Gemini 和 Llama 等大型语言模型 (LLMs)，利用特殊的电力知识图来提高对电力数据集的复杂问题的响应的准确性和特异性。我们的研究结果表明，RAG 方法不仅可以减少由 LLMs 生成的不正确信息的发生，还可以通过以可验证的数据为基础来显著提高输出的质量。

    Jun, 2024

  • 评估检索增强生成模型的答案质量：强大的 LLM 足够了

    我们提出了一种全面评估检索增强生成（RAG）应用中答案质量的方法，使用 vRAG-Eval，这是一种新的评分系统，旨在评估正确性、完整性和诚实性。我们进一步将前述质量方面的评分转化为一个二进制分数，表示接受或拒绝的决策，反映了常用于聊天应用的直观 “赞” 或 “踩” 的手势。我们将 vRAG-Eval 应用于两个大型语言模型（LLM），评估由基本 RAG 应用生成的答案的质量。我们将这些评估与人类专家判断进行比较，并发现 GPT-4 的评估结果与人类专家的评判具有显著一致性，在接受或拒绝的决策上达成 83% 的一致。这项研究突出了 LLM 在封闭领域、封闭式问题设置中作为可靠评估者的潜力，特别是当人工评估需要大量资源时。

    Jun, 2024

  • 利用 RAG 提高 LLM 事实准确性以应对幻觉：私有知识库中领域特定查询的案例研究

    我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将 RAG 流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自 CMU 广泛资源并以教师模型进行注释的策划数据集对模型进行微调，解决了 LLM 产生的幻觉挑战。我们的实验表明该系统在生成更准确的领域特定和时间敏感查询答案方面的有效性。结果还揭示了使用规模较小和偏斜的数据集进行微调 LLM 的限制。这项研究突出了 RAG 系统在增强 LLMs 表现方面的潜力在知识密集型任务中。我们的代码和模型可在 Github 上找到。

    Mar, 2024