May, 2024

基于 RAG 的使用知识图谱和大型语言模型的自动驾驶道路用户行为可解释预测

PDF
TL;DR在自动驾驶的背景下，通过结合知识图谱和大型语言模型的推理能力与表达能力，提出了一种可解释的道路用户行为预测系统，该系统使用检索增强生成技术，通过知识图谱嵌入和贝叶斯推理结合在一起，实现对行为的预测，并在行人过马路行为和变道操作的两个应用场景中表现出超越现有技术的性能和 F1 得分，展示了未来研究的有希望的方向。
发现论文，激发创造
  • 基于知识图谱嵌入和贝叶斯推理的车辆换道预测

    基于语言上下文信息利用知识图谱实现车道变更预测，并应用贝叶斯推理，预测车道变更两秒前的 f1 得分为 97.95%，领先于现有技术，三秒前的 f1 得分为 93.60%。

    Dec, 2023

  • RAG-Driver：多模态大型语言模型中具有上下文学习和检索增强的通用自动驾驶解释

    Robots powered by 'blackbox' models need to provide human-understandable explanations, and RAG-Driver is a retrieval-augmented multi-modal large language model that achieves state-of-the-art performance in producing driving action explanations, justifications, and control signal prediction, with exceptional zero-shot generalisation capabilities to unseen environments.

    Feb, 2024

  • 交互感知概率预测的情境可迁移语义图推理

    本文提出了一个基于语义知识的预测框架，通过将驾驶场景建模为时空语义图，并推理这些图之间的内部关系，实现对自动驾驶汽车的行为预测。框架不仅实现了最先进的性能，而且具有良好的零样本迁移性。

    Apr, 2020

  • 基于知识图谱的自动驾驶方法综述

    本文提出了基于知识图谱和本体论的自动驾驶解决方案，涵盖了本体学习、感知、场景理解、运动规划和验证等五大主要领域，并讨论了当前的挑战和未来研究方向。

    Sep, 2022

  • 基于关系的交通场景图的运动预测

    通过建立空间语义场景图和使用图神经网络来探讨 Traffic participants 之间的关系对于预测自动驾驶中的加速度和减速度等相关参数具有重要作用。这种建模方式不仅可以提高预测结果，也可以通过包含先前场景的附加信息提高预测性能。

    Nov, 2022

  • KG-RAG: 知识与创造之间的桥梁

    该论文介绍了一种名为 KG-RAG（知识图谱 - 检索增强生成）的框架，通过将结构化的知识图谱与 LLMs 的功能集成，显著减少对 LLMs 潜在知识的依赖，从而提高 LLM 的知识能力。通过使用一种名为 CoE（Chain of Explorations）的算法，利用 LLMs 的推理能力在知识图谱中顺序地探索节点和关系，该方法较之前取得了显著减少虚构内容的结果，为发展处理知识密集型任务的智能系统提供了有希望的路径。

    May, 2024

  • 自动驾驶数据知识图谱嵌入评估：经验与实践

    该研究旨在探讨自动驾驶数据的知识图嵌入生成和评估，并考虑知识图的信息细节与衍生嵌入质量的关系，结果表明，在自动驾驶领域，知识图的信息细节越高，衍生嵌入的质量越高，并且基于语义转移距离的 TransE 算法更好地捕捉类型和关系的语义。

    Feb, 2020

  • GIN：自动驾驶中基于图形交互感知约束策略优化

    本文提出了一种基于图卷积网络的互动感知约束优化方法，通过同时训练运动预测和控制模块并共享一个包含社交上下文的潜在表示来鼓励安全驾驶和预测运动。实验结果表明，这种方法在 CARLA 城市驾驶模拟器上具有比基线更好的导航策略和运动预测性能。

    Jun, 2022

  • 基于学习推荐的 LLM 解释的上下文源知识图

    在个性化教育时代，为学习推荐提供易于理解的解释对增强学习者的理解和参与推荐的学习内容具有巨大价值。本文提出了一种利用知识图谱作为意见引擎源的方法，以减小语言模型模型的错误生成的风险，并确保高精度地满足学习者的意图，同时保持有关应用的学习上下文。我们利用知识图谱中的语义关系提供关于学习推荐的精心策划的知识。通过将领域专家纳入研究的提示工程阶段，设计解释模板，由语言模型进行填充和完成来确保解释包含与学习者相关的信息。我们定量评估了我们的方法使用 Rouge-N 和 Rouge-L 指标，并进行了与专家和学习者的质性评估。我们的结果表明，与仅由 GPT 模型生成的解释相比，生成的解释具有更高的召回率和准确度，并且极大地降低了最终学习解释中生成不准确信息的风险。

    Mar, 2024

  • GNN-RAG：用于大规模语言模型推理的图神经网络检索

    本文介绍了 GNN-RAG，一种将 LLMs 的语言理解能力与 GNNs 的推理能力以检索增强生成（RAG）风格相结合的新方法。通过 GNN 在稠密的 KG 子图上推理，提取连接问题实体和答案候选的最短路径，将其转化为 LLM 推理的输入。实验证明，GNN-RAG 在 WebQSP 和 CWQ 这两个广泛使用的 KGQA 基准测试中取得了最先进的性能，在 7B 调整的 LLM 上胜过或与 GPT-4 性能相匹配。此外，GNN-RAG 在多跳和多实体问题上表现出色，其答案 F1 得分超过竞争方法 8.9-15.5%。

    May, 2024