Jun, 2024

Vul-RAG: 基于知识级 RAG 的 LLM 漏洞检测增强

PDF
TL;DR使用 LL 元模型构建脆弱性知识库，并利用知识级检索增强生成（RAG）框架检测给定代码的脆弱性，取得显著的改进。
发现论文，激发创造
  • BadRAG：大型语言模型检测检索增强生成中的漏洞

    通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

    Jun, 2024

  • 利用检索增强生成模型的漏洞

    该研究论文探讨了检索增强的生成模型（RAG）如何整合外部知识库，提高其在事实核查和信息搜索等应用中的性能；同时指出了敌对方如何通过向检索数据库注入虚假内容来更改模型行为，进而对 RAG 系统进行成功的攻击，为此呼吁在设计和部署 RAG 系统时采取安全措施以确保机器生成内容的完整性。

    Jun, 2024

  • PoisonedRAG：对大型语言模型的检索辅助生成进行的知识投毒攻击

    通过注入有毒文本到知识库中，攻击者可以使大型语言模型生成攻击者选择的目标问题的攻击者选择的目标答案。我们提出了两种解决方案来解决这个优化问题，分别从黑盒和白盒背景的角度出发，攻击成功率达到了 90%。我们还评估了最近提出的防御方法，结果显示它们对我们的攻击不足以进行有效防御，凸显出对新的防御方法的需求。

    Feb, 2024

  • 幻影：检索增强语言生成的一般触发攻击

    检索增强生成（RAG）通过使用外部知识数据库，扩展现代大型语言模型（LLMs）在聊天机器人应用中的能力，使开发者能够在没有昂贵的训练或微调的情况下调整和个性化 LLM 的输出。本研究提出了针对 RAG 增强 LLMs 的新攻击方式，通过向其知识数据库中注入单个恶意文档来危害受害者的 RAG 系统，从而引发多种针对生成模型的恶意攻击。

    May, 2024

  • 大语言模型的检索增强生成：综述

    大型语言模型（LLMs）在实际应用中仍面临幻觉、知识更新缓慢和答案透明度不足等挑战。检索增强生成（RAG）是指在 LLMs 回答问题之前从外部知识库中检索相关信息。该论文概述了 LLMs 时代 RAG 的发展范式，总结了三种范式：Naive RAG，Advanced RAG 和 Modular RAG。同时，它提供了 RAG 的三个主要组成部分：检索器、生成器和增强方法的摘要和组织，以及每个组件的关键技术。此外，论文讨论了如何评估 RAG 模型的有效性，并介绍了两种 RAG 的评估方法、重点指标和能力，以及最新的自动评估框架。最后，从垂直优化、水平可扩展性和 RAG 的技术堆栈和生态系统三个方面引入了潜在的未来研究方向。

    Dec, 2023

  • ActiveRAG: 透过主动学习揭示知识的宝藏

    ActiveRAG 是一种创新的 RAG 框架，它通过使用知识构建机制和认知纽带机制将被动知识获取转变为主动学习机制，从而提高了大型语言模型的内在认知，并在问答数据集上取得了 5% 的改进。

    Feb, 2024

  • T-RAG: LLM 战壕中的教训

    构建一个基于 RAG 的 LLM 应用程序，Tree-RAG 使用树结构表示组织中的实体层级，并生成文字描述以增强响应用户查询的上下文。

    Feb, 2024

  • 大型语言模型中的检索增强生成的开发与测试 -- 一份案例研究报告

    大型语言模型（LLMs）在医疗应用中具有重要潜力，而检索增强生成（RAG）被认为是一种有前景的方法来定制 LLMs 中的领域知识。该研究通过开发和评估一个专门针对医疗保健领域、特别关注术前医学的 LLM-RAG 流程，验证了其可行性。

    Jan, 2024

  • 关于 RAG 遇见 LLM 的调研：走向检索增强的大型语言模型

    检视了检索增强型大型语言模型（RA-LLMs）的现有研究，涵盖体系结构、训练策略和应用三个主要技术视角，并介绍了此类模型的基础知识和最新进展，以及它们为大型语言模型（LLMs）带来的实际意义和应用领域的挑战和能力，最后讨论了当前的局限性和未来研究的几个有前途的方向。

    May, 2024

  • 一个令牌可以帮助！学习可扩展和可插拔的虚拟令牌用于增强检索的大型语言模型

    通过学习可扩展且可插拔的虚拟标记，我们的方法在保持大型语言模型的原始参数的基础上，仅对这些可插入标记的嵌入进行微调，从而提高了大型语言模型的性能并保留了其普遍的生成能力。

    May, 2024