Feb, 2024

RAG-Driver：多模态大型语言模型中具有上下文学习和检索增强的通用自动驾驶解释

PDF
TL;DRRobots powered by 'blackbox' models need to provide human-understandable explanations, and RAG-Driver is a retrieval-augmented multi-modal large language model that achieves state-of-the-art performance in producing driving action explanations, justifications, and control signal prediction, with exceptional zero-shot generalisation capabilities to unseen environments.
explainabilitytrustworthy autonomous decision-makingmulti-modal large language modelsautonomous drivingrag-driver
发现论文，激发创造
  • 基于 RAG 的使用知识图谱和大型语言模型的自动驾驶道路用户行为可解释预测

    在自动驾驶的背景下，通过结合知识图谱和大型语言模型的推理能力与表达能力，提出了一种可解释的道路用户行为预测系统，该系统使用检索增强生成技术，通过知识图谱嵌入和贝叶斯推理结合在一起，实现对行为的预测，并在行人过马路行为和变道操作的两个应用场景中表现出超越现有技术的性能和 F1 得分，展示了未来研究的有希望的方向。

    May, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 检索增强生成系统：自动数据集创建、评估和布尔代理设置

    检索增强生成（RAG）系统在通过领域特定和时间敏感数据增强大型语言模型（LLM）输出方面非常受欢迎。本文提出了一种严格的数据集创建和评估工作流程，从而定量比较了不同的 RAG 策略，用于布尔代理 RAG 设置的开发和评估。我们在线发布了我们的代码和生成的数据集。

    Feb, 2024

  • 自我反思：学习通过检索、生成和评论

    通过检索和自我反思，Self-RAG 框架提高了语言模型的质量和准确性，在多样任务中显著优于其他模型。

    Oct, 2023

  • 驾驶与 LLMs：融合物体级别向量模态进行可解释自动驾驶

    基于大型语言模型的自动驾驶行动生成方法在泛化性能和可解释性方面显示出潜力，提出了一种独特的对象级多模态语言模型体系结构，将向量化数值模态与预训练的语言模型相结合，以提高驾驶情境的上下文理解能力，通过新的数据集和评估度量，展示了该方法在解释驾驶情境、回答问题和决策等方面的能力。

    Oct, 2023

  • 多语言环境下的检索增强生成

    检验检索增强生成（RAG）在多语言环境下的性能，发现任务特定的提示工程和调整评估指标是必要的，同时解决非拉丁字母语言中经常发生的代码切换、流畅性错误、提供文档的错误阅读或无关的提取等问题。

    Jul, 2024

  • 遵循我的指示并透露机密：检索增强型生成系统的可伸缩数据提取

    Retrieval-Augmented Generation (RAG) 可以增强预训练模型，通过在测试时引入外部知识以实现定制化适应性。研究发现，Retrieval-In-Context RAG 语言模型中存在数据存储泄露的风险，对于多种现代语言模型以及 GPTs 模型，攻击利用模型的指令跟随功能，通过提示注入轻松从数据存储库中提取文本数据。通过设计一种攻击方法，可以在 25 个随机选择的自定义 GPTs 模型上以 100% 的成功率导致数据存储泄露，并且通过自身生成的仅 100 个查询，从包含 77,000 字的书籍和 1,569,000 字的文集中从文本数据中提取文本数据的比率为 41% 和 3%。

    Feb, 2024

  • 工具呼叫：通过检索增强大型语言模型提升药物咨询

    基于检索增强生成（RAG）的大规模语言模型（LLMs）在医学领域的知识密集型任务中表现出显著的性能提升，着重研究了利用 LLMs 和 RAG 框架回答基于医药数据库的查询问题，并提出了 Distill-Retrieve-Read 框架用于关键字搜索，实验结果证明了该框架在证据检索准确性方面的优势。

    Apr, 2024